Data analysis. NumPy. Часть 1

Эта статья первая в серии про базовый набор инструментов для первичного анализа данных с помощью Python.
В первую очередь рассмотрим базовую библиотеку для работы с многомерными массивами NumPy.
Pandas позволяет эффективно работать с неоднородными данными. Удобно загружать, обрабатывать и анализировать табличные данные  с помощью SQL-подобных запросов.
С помощью Matplotlib, Seaborn, Plotly реализуется отличная визуализация.

Часть 1. Введение в NumPy
Часть 2. Подробней о NumPy
Часть 3. Первичный анализ. Pandas
Часть 4. Визуализация. Matplotlib и Seaborn
Часть 5. Немного machine learning с помощью scikit-learn
Часть 6. Больше данных. Обучение с Vowpal Wabbit

В статье будет описания и различного рода заметки, а примеры с комментариями написаны в jupyter notebook

NumPy — это библиотека языка Python, добавляющая поддержку больших многомерных массивов и матриц, вместе с большой библиотекой высокоуровневых математических функций для операций с этими массивами.



  • атрибуты массивов - размер, форма, объем, тип
  • индексация - получение и задание значений элементам
  • срезы - получение и задания подмассивов
  • изменение формы массива
  • слияние и разбиение массовов

Срезы массивов возвращают представления(views), а не копии(copies) данных массива. Этим срезы массивов Numpy отличаются от срезов списков.


  • Арифметические функции
  • Абсолютное значение
  • Тригонометрические функции
  • Показательные функции и логарифмы
  • Указание массива для вывода результата
  • Сводные показатели
Универсальные функции(universal functions, ufuncs) в Numpy могут намного ускорить выполнение повторяющихся вычислений над элементами массивов.
Проблемы возникают при повторении множества мелких операций, например при выполнении обработки всех элементов массива в цикле. Проблема в проверки типов и диспетчеризации функций, выполняемых CPython. Каждый раз Python сначала проверяет тип обьекта и выполняет динамический поиск подходящей для этого типа функции.
Библиотека Numpy предоставляет для многих типов операций удобный интерфейс для компилируемой процедуры со статической типизацией. Векторизованный подход спроектирован так, чтобы переносить цикл в скомпилированный слой.
Существует два вида универсальных функций: унарные универсальные функции, с одним аргументов, и бинарные, с двумя.


  • Минимум, максимум, сума и пр
  • Многомерные сводные показатели
Ключевое слово axis задает измерение массива, которое будет "схлопнуто"(collapsed), а не возвращаемое измерение.

В следующей части рассмотрим транслирование,  сравнение, "прихотливая" индексация, сортировка и т.д.

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Асинхронное выполнение процедур или триггера в MS SQL Server

После изменений данных иногда требуется дополнительно произвести какие то действия, это может быть пересчет каких то агрегаций, отправка сообщения и пр. Процессу вносившему изменения как правило важно знать только результат транзакции и не очень интересно ожидать выполнения дополнительных операций. Асинхронный вызов можно организовать через очередь. В следующий раз напишу как это сделать через обычную таблицу и job, а сегодня о компоненте Service Broker. У Service Broker много возможностей, он позволяет взаимодействовать и между сервера, но местами не так удобен и гибок, в итоге часто эффективней выносить такую логику за СУБД. Но для простых и понятных задач вполне годная штука. 1. Создаем БД IF DB_ID (N 'DB_001' ) IS NOT NULL DROP DATABASE DB_001; GO CREATE DATABASE DB_001 2. Включаем Service Broker ALTER DATABASE [DB_001] SET ENABLE_BROKER with rollback IMMEDIATE ; 3. Создаем два типа сообщений CREATE MESSAGE TYPE [AsyncRequest] VA
Далее...

Рекурсивные SQL запросы

Изображение
CTE(обобщенное табличное выражение) может ссылаться на себя, создавая рекурсивное CTE. Рекурсивное CTE многократно выполняется, чтобы возвращать подмножество данных до тех пор, пока не получится конечный результирующий набор. Обычно рекурсивные запросы используются для возвращения иерархических данных, например: отображение сотрудников в структуре организации или генерация последовательности. Структура рекурсивного CTE WITH cte_name ( column_name [,...n] ) AS ( CTE_query_definition –- Anchor member is defined. UNION ALL CTE_query_definition –- Recursive member is defined referencing cte_name. ) -- Statement using the CTE SELECT * FROM cte_name CTE разбивается на закрепленный и рекурсивный элементы. Запускается закрепленный элемент с созданием первого вызова. Рекурсивный элемент ссылается на закрепленный и вызывается пока не вернет пустой набор. Классический пример с сотрудниками DECLARE @Employees TABLE ( ID int NOT NULL, [Name] nvarchar(200) NOT NULL, Manag
Далее...

Кратко про SQLAlchemy Core

SQLAlchemy Engine это слой абстракции над DB-API. Он содержит DB-API драйвера для разных СУБД, их можно указать в строке подключения. Engine.execute() и Engine.connect() два основных метода. Так же у него есть свой пул соединений. create_engine() - фабричная функция для создания Engine. Metadata это логическая структура базы данных. Она содержит список таблиц(Table), их отношения и другие объекты. Table абстракция таблицы. Содержит колонки(Column) и другие свойства. Таким образом можно иметь одновременно несколько engine с разными драйверами и коннектами, разные metadata, и совместно их использовать. примеры на github from sqlalchemy import MetaData, Table , Column , Integer , Numeric , String, DateTime from datetime import datetime metadata = MetaData() users = Table ( 'users' , metadata, Column ( 'user_id' , Integer (), primary_key = True ), Column ( 'username' , String( 15 ), nullable = False , unique = True ),
Далее...