Data analysis. NumPy. Часть 2

Это вторая статья в серии, где мы знакомимся с базовый набор инструментов для первичного анализа данных с помощью Python.
В этой части рассмотрим транслирование(broadcasting), сравнения массивов и маски, "прихотливая" индексация (fancy indexing), сортировки и структурированные данные.

Часть 1. Введение в NumPy
Часть 2. Подробней о NumPy
Часть 3. Первичный анализ. Pandas
Часть 4. Визуализация. Matplotlib и Seaborn
Часть 5. Немного machine learning с помощью scikit-learn
Часть 6. Больше данных. Обучение с Vowpal Wabbit

В статье будет описания и различного рода заметки, а примеры с комментариями написаны в jupyter notebook

Транслирование(Broadcasting) (notebook)
Еще один способ применения векторизации - использовать возможности транслирования(broadcasting). Это набор правил по применению бинарных универсальных функций к массивам различного размера.
Для массивов одного размера бинарные операции выполняются поэлементно. Транслирование дает  возможность выполнять такие операции над массивами различных размеров.
Правила транслирования
  1. Если размерность двух массивов отличаются, форма массива с меньшей размерностью дополняется единицами с ведущей(левой) стороны.
  2. Если форма двух массивов не совпадает в каком-то измерении, массив с формой , равной 1 в данном измерении, растягивается вплоть до соответствия форме другого массива.
  3. Если в каком-либо измерении размеры массивов различаются и ни один не равен 1, генерируется ошибка. 
astroml
Полупрозрачные кубики представляют собой транслируемые значения.

Сравнения и маски (notebook)
Маски удобно использовать для извлечения, модификации, подсчета или других модификаций со значениями в массиве по какому-либо критерию.
Ключевые слова AND и OR определяют истинность или ложность всего объекта, операторы | и & оперируют отдельными битами внутри каждого из объекта.

"Прихотливая" индексация (fancy indexing) (notebook)
Простая индексация: arr[0]
Срезы: arr[: 5]
Маски: arr[arr > 0]
В "прихотливой" индексации передаются массивы индексов. Это дает возможность быстрого доступа к различным подмножествам.
В случае "прихотливой" индексации форма результата отражает форму массивов индексов(index arrays), а не форму индексированного массива.

Сортировка массива (notebook)
По умолчанию np.sort имеет сложность O(n*logn), это алгоритм быстрой сортировки (quicksort). Так же доступны алгоритмы сортировки слиянием (mergesort) и пирамидальная сортировка (heapsort).
Иногда необходимо найти K наименьших значений в массиве, для этой цели можно использовать np.partition. Эта функция принимает массив и число, на выходе получаем массив, где первые K элементов наименьшие в этом массиве.

Структурированные данные (notebook)
Преимущество таких данных в том, что dtype напрямую соответствует структуре С. По этому есть возможность напрямую обращаться к буферу памяти таких массивов из программы на С.
Но в большинстве случаев удобней использовать более высокоуровневый объект DataFrame из пакета Pandas.

Комментарии

Отправить комментарий

Популярные сообщения из этого блога

Асинхронное выполнение процедур или триггера в MS SQL Server

После изменений данных иногда требуется дополнительно произвести какие то действия, это может быть пересчет каких то агрегаций, отправка сообщения и пр. Процессу вносившему изменения как правило важно знать только результат транзакции и не очень интересно ожидать выполнения дополнительных операций. Асинхронный вызов можно организовать через очередь. В следующий раз напишу как это сделать через обычную таблицу и job, а сегодня о компоненте Service Broker. У Service Broker много возможностей, он позволяет взаимодействовать и между сервера, но местами не так удобен и гибок, в итоге часто эффективней выносить такую логику за СУБД. Но для простых и понятных задач вполне годная штука. 1. Создаем БД IF DB_ID (N 'DB_001' ) IS NOT NULL DROP DATABASE DB_001; GO CREATE DATABASE DB_001 2. Включаем Service Broker ALTER DATABASE [DB_001] SET ENABLE_BROKER with rollback IMMEDIATE ; 3. Создаем два типа сообщений CREATE MESSAGE TYPE [AsyncRequest] VA
Далее...

Рекурсивные SQL запросы

Изображение
CTE(обобщенное табличное выражение) может ссылаться на себя, создавая рекурсивное CTE. Рекурсивное CTE многократно выполняется, чтобы возвращать подмножество данных до тех пор, пока не получится конечный результирующий набор. Обычно рекурсивные запросы используются для возвращения иерархических данных, например: отображение сотрудников в структуре организации или генерация последовательности. Структура рекурсивного CTE WITH cte_name ( column_name [,...n] ) AS ( CTE_query_definition –- Anchor member is defined. UNION ALL CTE_query_definition –- Recursive member is defined referencing cte_name. ) -- Statement using the CTE SELECT * FROM cte_name CTE разбивается на закрепленный и рекурсивный элементы. Запускается закрепленный элемент с созданием первого вызова. Рекурсивный элемент ссылается на закрепленный и вызывается пока не вернет пустой набор. Классический пример с сотрудниками DECLARE @Employees TABLE ( ID int NOT NULL, [Name] nvarchar(200) NOT NULL, Manag
Далее...

Кратко про SQLAlchemy Core

SQLAlchemy Engine это слой абстракции над DB-API. Он содержит DB-API драйвера для разных СУБД, их можно указать в строке подключения. Engine.execute() и Engine.connect() два основных метода. Так же у него есть свой пул соединений. create_engine() - фабричная функция для создания Engine. Metadata это логическая структура базы данных. Она содержит список таблиц(Table), их отношения и другие объекты. Table абстракция таблицы. Содержит колонки(Column) и другие свойства. Таким образом можно иметь одновременно несколько engine с разными драйверами и коннектами, разные metadata, и совместно их использовать. примеры на github from sqlalchemy import MetaData, Table , Column , Integer , Numeric , String, DateTime from datetime import datetime metadata = MetaData() users = Table ( 'users' , metadata, Column ( 'user_id' , Integer (), primary_key = True ), Column ( 'username' , String( 15 ), nullable = False , unique = True ),
Далее...