Tag: pytables

Как указать min_itemsize для столбца индекса

Я не могу указать минимальный размер для индекса в операции добавления to_hdf. Min_itemsize работает для столбцов данных, так как я могу заставить его работать для столбца индекса? Этот код: from pandas import * df = DataFrame(['1','2'],index=['a','b']) df.index.name = 'symbol' df.to_hdf("store.h5",'df',append = True,format='table',min_itemsize = { 'symbol' : 10} ) генерирует это сообщение об ошибке: ValueError: min_itemsize […]

Можно ли отменить поиск позиции индекса для itersorted в PyTables?

контекст База данных Multi GB с простой таблицей, в которой есть столбец с полностью отсортированным индексом (CSI). Итерация по индексу без загрузки всех строк в пакете, where мы можем: for row in itersorted('indexed_column', step=1): print row Это прекрасно работает, следующим шагом может быть итерация с определенной позиции индекса, например: for row in itersorted('indexed_column', start=position, step=1): […]

Pytables замедляет запрос для строки, не совпадающей

Я относительно новичок в python, и я использую pytables для хранения некоторых геномных аннотаций в hdf для более быстрого запроса. Я считаю, что запрос строки несоответствия в таблице медленный, но я не уверен, как оптимизировать ее для повышения производительности. Ниже приведена одна из таблиц: In [5]: t Out[5]: /gene/annotation (Table(315202,), fletcher32, blosc(5)) '' description := […]

Открытие поврежденного файла PyTables HDF5

Я надеюсь на помощь в открытии поврежденного файла HDF5. Я обращаюсь к PyTables через Pandas , но pd.read_hdf() вызывает следующую ошибку. Я ничего не знаю о внутренней работе PyTables . Я считаю, что ошибка была создана, потому что процесс сохранения в файл (добавление каждые 10 секунд или около того) получил дублирование, поэтому было добавлено 2 […]

Ошибка записи PyTables

Я создаю и заполняю PyTables Carray следующим образом: #a,b = scipy.sparse.csr_matrix f = tb.open_file('../data/pickle/dot2.h5', 'w') filters = tb.Filters(complevel=1, complib='blosc') out = f.create_carray(f.root, 'out', tb.Atom.from_dtype(a.dtype), shape=(l, n), filters=filters) bl = 2048 l = a.shape[0] for i in range(0, l, bl): out[:,i:min(i+bl, l)] = (a.dot(b[:,i:min(i+bl, l)])).toarray() Скрипт работал нормально почти два дня (я подсчитал, что ему потребуется […]

Не удалось добавить HDFStore, не может соответствовать существующей структуре таблицы

Запуск проблем при попытке отправить фрейм данных в hdf5 небольшими кусками через pd.HDFStore('mystore.h5', mode='a').append(my_frame, chunk) . Куски все одинаковы с точки зрения столбцов и типов (они исходят из одного и того же блока данных). Но он работает для большого количества кусков, а затем бомбы на полпути. ValueError: cannot match existing table structure for [Net_Bal_Amt,Loan_Current_Rate] on […]

GIL для ограниченного потока IO в расширении C (HDF5)

У меня есть приложение для выборки, которое получает 250,000 выборок в секунду, буферизирует их в памяти и в конечном итоге присоединяется к HDFStore предоставляемому pandas . В общем, это здорово. Тем не менее, у меня есть поток, который запускает и постоянно опорожняет устройство сбора данных ( DAQ ), и он должен запускаться несколько регулярно. Отклонение […]

объединение огромных файлов h5 с несколькими наборами данных в один с odo

У меня есть большое количество больших (13 ГБ +) файлов h5, каждый файл h5 имеет два набора данных, которые были созданы с помощью pandas: df.to_hdf('name_of_file_to_save', 'key_1',table=True) df.to_hdf('name_of_file_to_save', 'key_2', table=True) # saved to the same h5 file as above Я видел сообщение здесь: Соедините два больших файла pandas.HDFStore HDF5 при использовании odo для конкатенации файлов h5. […]

ошибка hdf5, когда формат = таблица, pandas pytables

Кажется, что я получаю сообщение об ошибке при format=table но ошибки в format=fixed . Вот команда. Странно то, что все еще кажется, что загружают данные. Мне просто нужно выяснить, как пройти мимо этого. И это дало бы мне душевное спокойствие, чтобы не было никакой ошибки. Блок данных предварительно обрабатывается, типы устанавливаются внутри столбцов. Команда, которую […]

pandas read_hdf с ограничением условия «где»?

Мне нужно запросить файл HDF5 с предложением where с 3 условиями, одним из условий является список с длиной 30: myList = list(xrange(30)) h5DF = pd.read_hdf(h5Filename, 'df', where='index=myList & date=dateString & time=timeString') Вышеуказанный запрос дает мне ValueError: too many inputs и ошибка воспроизводится. Если я уменьшу длину списка до 29 (три условия): myList = list(xrange(29)) h5DF […]

Interesting Posts

Почему я не могу обработать KeyboardInterrupt в python?

Что делает ** (двойная звезда / звездочка) и * (звезда / звездочка) для параметров?

Возвращаемые списки экземпляров не имеют никакого значения? А как насчет производительности?

Dataframe в массив numpy со значениями, разделенными запятыми

Вывод Python в Консоль внутри подпроцесса из дочернего скребка

Как сделать столбцы Tkinter равной ширины, когда виджеты охватывают несколько столбцов (Python 2.7)

Как использовать селен вместе со скрипом для автоматизации процесса?

Shifted colorbar matplotlib

Переключение между версиями Python как non root

Словарь Python vs Если скорость сообщения

чтение fortran неформатированного файла с python

WxPython меняет форму растровой кнопки

Кто-нибудь имеет категориальный XML Corpus Reader для NLTK?

Pycharm установил правильную переменную окружения PATH

Это ошибка в Киви? DropDown + ScreenManager не работает должным образом

Python - лучший язык программирования в мире.