Альтернативы ограничениям памяти Python Popen.communicate ()?
У меня есть следующий фрагмент кода Python (работает v2.7), который приводит к MemoryError исключения из MemoryError при работе с большими (несколькими GB) файлами:
myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE) myStdout, myStderr = myProcess.communicate() sys.stdout.write(myStdout) if myStderr: sys.stderr.write(myStderr)
При чтении документации к Popen.communicate() происходит некоторая буферизация:
- Pandon pandas: проверьте, есть ли какое-либо значение NaN в DataFrame
- Правильность Python (т. Е. Lint), анализирующая для Notepad ++
- Итерация над атрибутами объекта в python
- py2exe ImportError: нет модуля с именем <package I immedmented>
- Импорт пользовательских модулей в IPython.parallel с помощью sync_imports ()
- Как освободить ресурс в смесителе PyGame?
Примечание . Чтение данных буферизуется в памяти, поэтому не используйте этот метод, если размер данных является большим или неограниченным.
Есть ли способ отключить эту буферизацию или заставить кеш периодически очищаться во время процесса?
Какой альтернативный подход я должен использовать в Python для запуска команды, которая передает гигабайты данных в stdout ?
Я должен отметить, что мне нужно обрабатывать потоки вывода и ошибок.
2 Solutions collect form web for “Альтернативы ограничениям памяти Python Popen.communicate ()?”
Думаю, я нашел решение:
myProcess = Popen(myCmd, shell=True, stdout=PIPE, stderr=PIPE) for ln in myProcess.stdout: sys.stdout.write(ln) for ln in myProcess.stderr: sys.stderr.write(ln)
Похоже, что мое использование памяти достаточно, чтобы справиться с задачей.
Обновить
Недавно я нашел более гибкий способ передачи потоков данных в Python с использованием потоков . Интересно, что Python настолько беден в чем-то, что скрипты оболочки могут делать так легко!
То, что я, вероятно, сделал бы, вместо этого, если бы мне нужно было прочитать stdout для чего-то большого, отправляет его в файл при создании процесса.
with open(my_large_output_path, 'w') as fo: with open(my_large_error_path, 'w') as fe: myProcess = Popen(myCmd, shell=True, stdout=fo, stderr=fe)
Изменить: если вам нужно потоковое, вы можете попробовать создать файл-подобный объект и передать его в stdout и stderr. (Я еще не пробовал это.) Затем вы могли читать (запрос) с объекта, когда он записывается.