Tag: pytables

ошибка hdf5, когда формат = таблица, pandas pytables

Кажется, что я получаю сообщение об ошибке при format=table но ошибки в format=fixed . Вот команда. Странно то, что все еще кажется, что загружают данные. Мне просто нужно выяснить, как пройти мимо этого. И это дало бы мне душевное спокойствие, чтобы не было никакой ошибки. Блок данных предварительно обрабатывается, типы устанавливаются внутри столбцов. Команда, которую […]

pandas read_hdf с ограничением условия «где»?

Мне нужно запросить файл HDF5 с предложением where с 3 условиями, одним из условий является список с длиной 30: myList = list(xrange(30)) h5DF = pd.read_hdf(h5Filename, 'df', where='index=myList & date=dateString & time=timeString') Вышеуказанный запрос дает мне ValueError: too many inputs и ошибка воспроизводится. Если я уменьшу длину списка до 29 (три условия): myList = list(xrange(29)) h5DF […]

сохранение "объекта"

Поддерживает ли PyTables сохранение объектов Python? что-то вроде этого : dtype = np.dtype([('Name', '|S2'), ('objValue', object)]) data = np.zeros(3, dtype) file.createArray(box3,'complicated',data) Я получаю ошибку при попытке сделать это, конечно … Как правильно хранить массивы объектов? Возможно ли это? благодаря

Как читать / писать в подгруппу с HDF5Store?

Я использую HDF5Store, чтобы сохранить некоторые из моих обработанных результатов до анализа. В магазин я хочу поставить 3 типа результатов, Необработанные результаты, которые не были обработаны вообще, просто считываются и сливаются с исходными форматами CSV Обработанные результаты, полученные из исходных результатов, которые имеют некоторую обработку и деление на более логические группировки Обобщены результаты, которые добавили […]

Освободить дисковое пространство hdf5 после удаления таблицы или узла с помощью pytables или pandas

Я использую HDFStore с pandas / pytables. После удаления таблицы или объекта размер файла hdf5 остается незатронутым. Похоже, что это пространство снова используется, когда дополнительные объекты добавляются для хранения, но это может быть проблемой, если большое пространство впустую. Я не нашел никакой команды в pandas и API pytables, которые могут быть использованы для восстановления памяти […]

Что эквивалентно «select max (column) from table» в pytables

У меня есть таблица со множеством числовых значений, я знаю, что могу извлечь столбец и сделать max () на нем, но, вероятно, есть способ сделать это, используя встроенный метод. Наверное, похоже, что он все-таки нашел.

База данных или табличное решение для временных массивов Numpy

Я создаю настольное приложение Python, которое позволяет пользователям выбирать различные формы распространения для моделирования данных о урожае сельскохозяйственных культур. У меня есть временные ряды сельскохозяйственных данных – около миллиона строк – сохранены в базе данных SQLite (хотя это не установлено в камне, если кто-то знает о лучшем выборе). Как только пользователь выберет некоторые данные, скажем, […]

Как эффективно перестроить таблицу pandas hdfstore при добавлении сбоя

Я работаю над использованием hdfstore в pandas для кадров данных из текущего итеративного процесса. На каждой итерации я добавляю к столу в hdfstore. Вот пример игрушки: import pandas as pd from pandas import HDFStore import numpy as np from random import choice from string import ascii_letters alphanum=np.array(list(ascii_letters)+range(0,9)) def hdfstore_append(storefile,key,df,format="t",columns=None,data_columns=None): if df is None: return if […]

Индексация и столбцы данных в Pandas / PyTables

http://pandas.pydata.org/pandas-docs/stable/io.html#indexing Я действительно смущен этой концепцией столбцов данных в Pandas HDF5 IO. Плюс есть очень мало информации об этом, которую можно найти в googling. Поскольку я погружаюсь в Pandas в большом проекте, который включает в себя хранилище HDF5, я хотел бы четко рассказать о таких концепциях. Документы говорят: Вы можете назначить (и индексировать) определенные столбцы, […]

Pandas _ metadata ошибки сохранения данных DataFrame

Я, наконец, понял, как использовать _metadata из DataFrame, все работает, за исключением того, что я не могу его сохранить, например, для hdf5 или json. Я знаю, что это работает, потому что я копирую атрибуты frame и _metadata, копируя атрибуты «non_metadata», нет. пример df = pandas.DataFrame #make up a frame to your liking pandas.DataFrame._metadata = ["testmeta"] […]

Python - лучший язык программирования в мире.