Tag: numpy

Медленная производительность временной отметки pandas vs datetime

Кажется, я столкнулся с неожиданно низкой производительностью арифметических операций над pandas.Timestamp vs python регулярных объектов datetime (). Вот пример, который демонстрирует: import datetime import pandas import numpy # using datetime: def test1(): d1 = datetime.datetime(2015, 3, 20, 10, 0, 0) d2 = datetime.datetime(2015, 3, 20, 10, 0, 15) delta = datetime.timedelta(minutes=30) count = 0 for […]

Список массивов Numpy для одиночного массива Numpy без копирования данных

Я читаю видеоданные с помощью Python OpenCV и хочу сохранить K количество кадров. В настоящее время у меня есть цикл, который выполняет следующее (псевдокод): frame_list = 1:K frame_buffer = list(map(ReadFrameNumber, frame_list)) Теперь у меня есть список frame_buffer , который представляет собой K кадров в длину, когда данные являются массивом NxMx3 numpy. Это все прекрасно и […]

mmap разреженный вектор в python

Я ищу простую разреженную векторную реализацию, которая может быть отображена в память, подобно numpy.memmap . К сожалению, реализация numpy имеет только полный вектор. Пример использования: vec = SparseVector('/tmp/file.dat') # SparseVector is the class I'm looking for vec[10] = 10 vec[50] = 21 for key in vec: print vec[key] # 10, 21 I foung scipy class, […]

Получение одинаковой точности для разных классификаторов – sklearn

У меня есть набор для обучения 540 и набор из 150 пикселей изображения. Значения хранятся в разных файлах csv следующим образом: [label],[num0],[num1],…,[num399] Метка представляет собой единый алфавит, а 400 нс – значения пикселей. Этот набор предназначен для распознавания жестового языка. Код – import numpy as np import os import csv from sklearn import svm from […]

Создайте многопоточный фильтр FFT

У меня есть 2D-массив звуковых образцов numpy.int16 (44100Hz) (из них 1376). Каждый образец имеет этот формат (примерные значения): [-4 4 -5 -10 -5 -6 -11 -4 -9 -7 -10 1 -4 -8 -9 -8 -4 -13 -14 -11 -12 -4 -14 -13 -9 – 2 -2 -16 -5 -5 -4-3- -6 -9 -8 -12 -1 […]

Программа Python 2.7 (с полными словарями), возвращающая фатальный «dbrunrecoveryerror» для определенных комбинаций клавиш и значений, но не для других

У меня возникла странная ошибка при назначении определенных значений определенным клавишам в словаре моей программы (который отложен и имеет приблизительно 14000 записей в настоящее время), образец вывода, который я вставил в нижней части этого сообщения. Краткий пример: если я попробую dict["-34_45_2_2"] = 1.1 ошибка немедленно возникает в этой строке, но если я использую тот же […]

Хранение большой таблицы на диске с быстрым извлечением указанного подмножества в np.ndarray

Мне нужно хранить таблицу на диске и иметь возможность быстро получить подмножество этой таблицы в numpy.ndarray . Каков наилучший способ сделать это? Я не против тратить время на предварительную обработку этого набора данных, прежде чем хранить его на диске, так как он не будет изменен после его создания. Я бы предпочел не писать C-код и […]

Cython code 3x медленнее, чем соответствующая версия NumPy

В настоящее время я пишу диссертацию об использовании фильтров частиц для фильтрации скрытых состояний в моделях стохастической волатильности. Чтобы улучшить результаты фильтрации, я добавил цены опциона в качестве наблюдаемого процесса. Это означает, что для данного временного ряда я должен рассчитать цены опционов на каждом временном шаге – «нормальный» временной ряд – 100-200 баллов. Не углубляясь […]

Обучение записи в массив в Cython

Упрощенный код того, что я делаю, намного медленнее, когда я пишу в массив «a»: в файле pyx: import cython import numpy as np cimport numpy as np ctypedef np.float64_t DTYPE_t @cython.boundscheck(False) @cython.wraparound(False) @cython.nonecheck(False) def writearray(np.ndarray[DTYPE_t, ndim=1] a): cdef int i,j,k,l cdef DTYPE_t sum=0.0 for i in range(100): for j in range(100): for k in range(100): […]

dtype в numpy 1.9.1 сломан?

После недавнего обновления моих различных пакетов python (теперь я запускаю python 2.7.9 с numpy 1.9.1 и matplotlib 1.4.3), некоторые мои собственные программы, похоже, сломаны. Я использую операции массива записей mlab в нескольких местах, и я продолжаю получать ошибки типа «тип данных непонятен». Кажется, что функция csv2rec теперь возвращает имена записей как unicode, а не ASCII, […]

Python - лучший язык программирования в мире.