База данных или табличное решение для временных массивов Numpy

Я создаю настольное приложение Python, которое позволяет пользователям выбирать различные формы распространения для моделирования данных о урожае сельскохозяйственных культур. У меня есть временные ряды сельскохозяйственных данных – около миллиона строк – сохранены в базе данных SQLite (хотя это не установлено в камне, если кто-то знает о лучшем выборе). Как только пользователь выберет некоторые данные, скажем, урожай кукурузы в 1990-2010 годах в штате Иллинойс, я хочу, чтобы они выбрали форму распределения из раскрывающегося списка. Затем моя функция соответствует распределению данных и выводит 10 000 точек, взятых из этой установленной формы распределения в массиве Numpy. Я бы хотел, чтобы эти данные были временными во время выполнения программы.

В попытке быть эффективными я хотел бы только сделать это подходящим и последующий рисунок чисел один раз для определенного региона и распространения. Я изучал временные файлы в Python, но я не уверен, что это лучший подход для сохранения множества разных массивов Numpy. PyTables также выглядит как интересный подход и, похоже, совместим с Numpy, но я не уверен, что он хорош для обработки временных данных. Никакие SQL-решения, такие как MongoDB, в наши дни не очень популярны, что также меня интересует с точки зрения построения резюме.

• Получение квантилей SciPy для соответствия функции Stata xtile
• как я могу обновить scipy в winpython на окнах?
• Почему NumPy и SciPy имеют много одинаковых функций? Что я должен предпочесть?
• Как эффективно вычислять огромное умножение матрицы (функции tfidf) в Python?
• Как начать использовать `scipy`

Изменить: прочитав комментарий ниже и исследуя его, я собираюсь пойти с PyTables, но я пытаюсь найти лучший способ справиться с этим. Возможно ли создать таблицу, как показано ниже, где вместо Float32Col я могу использовать createTimeSeriesTable () из класса временных рядов scikits или мне нужно создать столбец datetime для даты и булевский столбец для маски, в дополнение к Float32Col для хранения данных. Или есть лучший способ решить эту проблему?

class Yield(IsDescription): geography_id = UInt16Col() data = Float32Col(shape=(50, 1)) # for 50 years of data 

Любая помощь по этому вопросу была бы весьма признательна.