Индексация и столбцы данных в Pandas / PyTables
http://pandas.pydata.org/pandas-docs/stable/io.html#indexing
Я действительно смущен этой концепцией столбцов данных в Pandas HDF5 IO. Плюс есть очень мало информации об этом, которую можно найти в googling. Поскольку я погружаюсь в Pandas в большом проекте, который включает в себя хранилище HDF5, я хотел бы четко рассказать о таких концепциях.
Документы говорят:
Вы можете назначить (и индексировать) определенные столбцы, которые вы хотите выполнять запросы (кроме индексируемых столбцов, которые вы всегда можете запросить). Например, вы хотите выполнить эту общую операцию на диске и вернуть только кадр, соответствующий этому запросу. Вы можете указать data_columns = True, чтобы заставить все столбцы быть data_columns
Это смущает:
-
other than the indexable columns, which you can always query: что такое индексируемые столбцы? не все индексы индексируются столбцами? Что означает этот термин? -
For instance say you want to perform this common operation, on-disk, and return just the frame that matches this query.Как это отличается от обычного запроса на Pytable; с или без каких-либо индексовdata_columns? -
В чем принципиальная разница между столбцом без индексирования, индексирования и столбца data_column?
- Использование Python необходимо преобразовать данные из нескольких столбцов в один столбец и повторить столбец A
- Pandas aggregate – как сохранить все столбцы
- Pandas Merge по имени и ближе к дате
- Parse Имя пользователя для извлечения местоположения пользователя Twitter
- Группа данных по кадрам Pandas по сюжету
Вы должны просто попробовать.
In [22]: df = DataFrame(np.random.randn(5,2),columns=['A','B']) In [23]: store = pd.HDFStore('test.h5',mode='w') In [24]: store.append('df_only_indexables',df) In [25]: store.append('df_with_data_columns',df,data_columns=True) In [26]: store.append('df_no_index',df,data_columns=True,index=False) In [27]: store Out[27]: <class 'pandas.io.pytables.HDFStore'> File path: test.h5 /df_no_index frame_table (typ->appendable,nrows->5,ncols->2,indexers->[index],dc->[A,B]) /df_only_indexables frame_table (typ->appendable,nrows->5,ncols->2,indexers->[index]) /df_with_data_columns frame_table (typ->appendable,nrows->5,ncols->2,indexers->[index],dc->[A,B]) In [28]: store.close()
-
вы автоматически получаете индекс сохраненного фрейма в качестве столбца запроса. По умолчанию никакие другие столбцы не могут быть запрошены.
-
Если вы укажете
data_columns=Trueилиdata_columns=list_of_columns, то они будут храниться отдельно и затем могут быть впоследствии запрошены. -
Если вы укажете
index=Falseто индекс запросов PyTables не будет автоматически создан для столбца запроса (например,indexи / илиdata_columns).
Чтобы увидеть фактические создаваемые индексы (индексы PyTables ), см. Выход ниже. colindexes определяет, какие столбцы имеют фактический индекс PyTables . (Я урезал его несколько).
/df_no_index/table (Table(5,)) '' description := { "index": Int64Col(shape=(), dflt=0, pos=0), "A": Float64Col(shape=(), dflt=0.0, pos=1), "B": Float64Col(shape=(), dflt=0.0, pos=2)} byteorder := 'little' chunkshape := (2730,) /df_no_index/table._v_attrs (AttributeSet), 15 attributes: [A_dtype := 'float64', A_kind := ['A'], B_dtype := 'float64', B_kind := ['B'], CLASS := 'TABLE', FIELD_0_FILL := 0, FIELD_0_NAME := 'index', FIELD_1_FILL := 0.0, FIELD_1_NAME := 'A', FIELD_2_FILL := 0.0, FIELD_2_NAME := 'B', NROWS := 5, TITLE := '', VERSION := '2.7', index_kind := 'integer'] /df_only_indexables/table (Table(5,)) '' description := { "index": Int64Col(shape=(), dflt=0, pos=0), "values_block_0": Float64Col(shape=(2,), dflt=0.0, pos=1)} byteorder := 'little' chunkshape := (2730,) autoindex := True colindexes := { "index": Index(6, medium, shuffle, zlib(1)).is_csi=False} /df_only_indexables/table._v_attrs (AttributeSet), 11 attributes: [CLASS := 'TABLE', FIELD_0_FILL := 0, FIELD_0_NAME := 'index', FIELD_1_FILL := 0.0, FIELD_1_NAME := 'values_block_0', NROWS := 5, TITLE := '', VERSION := '2.7', index_kind := 'integer', values_block_0_dtype := 'float64', values_block_0_kind := ['A', 'B']] /df_with_data_columns/table (Table(5,)) '' description := { "index": Int64Col(shape=(), dflt=0, pos=0), "A": Float64Col(shape=(), dflt=0.0, pos=1), "B": Float64Col(shape=(), dflt=0.0, pos=2)} byteorder := 'little' chunkshape := (2730,) autoindex := True colindexes := { "A": Index(6, medium, shuffle, zlib(1)).is_csi=False, "index": Index(6, medium, shuffle, zlib(1)).is_csi=False, "B": Index(6, medium, shuffle, zlib(1)).is_csi=False} /df_with_data_columns/table._v_attrs (AttributeSet), 15 attributes: [A_dtype := 'float64', A_kind := ['A'], B_dtype := 'float64', B_kind := ['B'], CLASS := 'TABLE', FIELD_0_FILL := 0, FIELD_0_NAME := 'index', FIELD_1_FILL := 0.0, FIELD_1_NAME := 'A', FIELD_2_FILL := 0.0, FIELD_2_NAME := 'B', NROWS := 5, TITLE := '', VERSION := '2.7', index_kind := 'integer']
Поэтому, если вы хотите запросить столбец, сделайте его data_column . Если вы этого не сделаете, они будут храниться в блоках по dtype (быстрее / меньше места).
Обычно вы хотите индексировать столбец для извлечения, НО, если вы создаете и затем добавляете несколько файлов в один магазин, вы обычно отключите создание индекса и делаете это в конце (поскольку это довольно дорого для создания, поскольку вы идти).
См. Поваренную книгу для зверинца вопросов.
- Интерпретация результатов моделирования Scikit-Learn, дополнительных классификаторов деревьев, отличающихся друг от друга
- Изменение форм данных в пандах на основе меток столбцов
- Как конкатенировать несколько pandas.DataFrames без использования в MemoryError
- Геометрическая прогрессия с использованием Python / Pandas / Numpy (без цикла и с использованием повторения)
- Открытие поврежденного файла PyTables HDF5
- Выбор уникальных наблюдений в кадре данных панд
- Как удалить лишние пробелы из строк при разборе файла csv в Pandas?
- Добавление нового столбца pandas с отображаемым значением из словаря
- pandas dataframe удаляет столбцы по числу нан