Можно ли создать матрицу размером 1 миллион x 1 миллион, используя numpy?

Мы можем сделать простые математики, чтобы это выяснить. 1 миллион на 1 миллион матрицы содержит 1 000 000 000 000 элементов. Если каждый элемент занимает 4 байта, потребуется 4 000 000 000 000 байт памяти. То есть 3,64 терабайта.

Есть также шансы, что данная реализация Python использует больше, чем для одного числа. Например, только прыжок с поплавка на двойной означает, что вам понадобится 7.28 терабайт. (Есть также шансы, что Python хранит номер в куче, и все, что вы получаете, является указателем на него, что примерно удваивает площадь, даже не принимая во внимание метаданные, но это скользкие основания, я всегда ошибаюсь, когда говорю о Python внутренности, так что давайте не будем копать слишком много.)

Я полагаю, что numpy не имеет жесткого ограничения, но если ваша система не имеет такой свободной памяти, делать нечего.

У вашей матрицы много нулевых записей? Я подозреваю, что это так, мало кто делает плотные проблемы, большие.

Вы можете легко сделать это с помощью разреженной матрицы. У SciPy есть хороший набор, встроенный. http://docs.scipy.org/doc/scipy/reference/sparse.html Пространство, требуемое разреженной матрицей, растет с числом ненулевых элементов, а не с размерами.

У вашей системы, вероятно, не будет достаточно памяти для хранения матрицы в памяти, но в настоящее время у вас может быть достаточно терабайт свободного места на диске. В этом случае numpy.memmap позволит вам хранить массив на диске, но выглядит так, как если бы он находился в памяти.

Однако, вероятно, лучше всего переосмыслить проблему. Вам действительно нужна матрица такая большая? Любые вычисления, связанные с ним, вероятно, будут неизмеримо медленными, и их нужно делать поблочно.