Короткий вопрос

У меня есть большой элемент изображения 10000×10000, который я вывожу в несколько сотен различных секторов / ящиков. Затем мне нужно выполнить некоторый итерационный расчет значений, содержащихся в каждом бине.

Как извлечь индексы каждого бункера для эффективного выполнения моего расчета с использованием значений бинов?

• Искра с использованием PySpark
• Что-нибудь вроде SciPy в Ruby?
• Ошибка Scipy / Pylab .. Ожидается в: динамический поиск?
• Оценка области изображения, созданного набором точек (Альфа-фигуры?)
• numid-сумма антидиагоналей массива

То, что я ищу, – это решение, которое позволяет избежать узкого места, когда приходится выбирать каждый раз, когда ind == j из моего большого массива. Есть ли способ получить непосредственно, за один раз, индексы элементов, принадлежащих каждому бину?

Детальное объяснение

1. Простое решение

Один из способов добиться того, что мне нужно, – использовать код, подобный следующему (см., Например, НАСТОЯЩИЙ ответ), где я оцифровываю свои значения, а затем выбираю j-цикл, оцифрованные индексы, равные j, как показано ниже

 import numpy as np # This function func() is just a place mark for a much more complicated function. # I am aware that my problem could be easily speed up in the specific case of # of the sum() function, but I am looking for a general solution to the problem. def func(x): y = np.sum(x) return y vals = np.random.random(1e8) nbins = 100 bins = np.linspace(0, 1, nbins+1) ind = np.digitize(vals, bins) result = [func(vals[ind == j]) for j in range(1, nbins)] 

То, что я ищу, – это решение, которое позволяет избежать узкого места, когда приходится выбирать каждый раз, когда ind == j из моего большого массива. Есть ли способ получить непосредственно, за один раз, индексы элементов, принадлежащих каждому бину?

2. Использование binned_statistics

Вышеприведенный подход оказывается таким же, как в scipy.stats.binned_statistic , для общего случая пользовательской функции. С помощью Scipy напрямую можно получить идентичный результат со следующим

 import numpy as np from scipy.stats import binned_statistics vals = np.random.random(1e8) results = binned_statistic(vals, vals, statistic=func, bins=100, range=[0, 1])[0] 

3. Использование labeled_comprehension

Другой альтернативой Scipy является использование scipy.ndimage.measurements.labeled_comprehension . Используя эту функцию, приведенный выше пример станет

 import numpy as np from scipy.ndimage import labeled_comprehension vals = np.random.random(1e8) nbins = 100 bins = np.linspace(0, 1, nbins+1) ind = np.digitize(vals, bins) result = labeled_comprehension(vals, ind, np.arange(1, nbins), func, float, 0) 

К сожалению, эта форма неэффективна и, в частности, не имеет преимуществ по сравнению с моим оригинальным примером.

4. Сравнение с языком IDL

Для дальнейшего уточнения я ищу функциональность, эквивалентную REVERSE_INDICES слову HISTOGRAM функции HISTOGRAM языка IDL ЗДЕСЬ . Может ли эта очень полезная функциональность быть эффективно реплицирована в Python?

В частности, используя язык IDL, приведенный выше пример можно записать в виде

 vals = randomu(s, 1e8) nbins = 100 bins = [0:1:1./nbins] h = histogram(vals, MIN=bins[0], MAX=bins[-2], NBINS=nbins, REVERSE_INDICES=r) result = dblarr(nbins) for j=0, nbins-1 do begin jbins = r[r[j]:r[j+1]-1] ; Selects indices of bin j result[j] = func(vals[jbins]) endfor 

Вышеупомянутая реализация IDL примерно в 10 раз выше, чем у Numpy, из-за того, что индексы ящиков не должны выбираться для каждого бина. И разность скоростей в пользу реализации IDL увеличивается с количеством ящиков.

• Есть ли scipy / numpy альтернатива R nrd0?
• Ближайшие соседи Поиск в Python без kd tree
• Как я могу использовать Cython для решения дифференциального уравнения быстрее?
• Разбор конкретных столбцов из набора данных в python
• Трассировка предупреждений / ошибок Python на номер строки в numpy и scipy

 def binned_statistic(x, values, func, nbins, range): '''The usage is approximately the same as the scipy one''' from scipy.sparse import csr_matrix N = len(values) r0, r1 = range digitized = (float(nbins) / (r1-r0) * (x-r0)).astype(int) S = csr_matrix((values, [digitized, np.arange(N)]), shape=(nbins, N)) return [func(group) for group in np.split(S.data, S.indptr[1:-1])] 

 vals = np.random.random(1e4) nbins = 100 bins = np.linspace(0, 1, nbins+1) ind = np.digitize(vals, bins) new_order = argsort(ind) ind = ind[new_order] ordered_vals = vals[new_order] # slower way of calculating first_hit (first version of this post) # _,first_hit = unique(ind,return_index=True) # faster way: first_hit = searchsorted(ind,arange(1,nbins-1)) first_hit.sort() #example of using the data: for j in range(nbins-1): #I am using a plotting function for your f, to show that they cluster plot(ordered_vals[first_hit[j]:first_hit[j+1]],'o') 

 vals = np.random.random(1e8) vals.sort() nbins = 100 bins = np.linspace(0, 1, nbins+1) ind = np.digitize(vals, bins) results = [func(vals[np.searchsorted(ind,j,side='left'): np.searchsorted(ind,j,side='right')]) for j in range(1,nbins)] 

 import numpy_indexed as npi npi.group_by(ind).split(vals)