Как открыть и прочитать файл LZMA в памяти
У меня есть гигантский файл, назовем его одним-csv-file.xz . Это CSV-файл с сжатым сжатием XZ.
Как открыть и проанализировать файл без предварительного распаковки диска? Что, если файл, например, 100 ГБ? Конечно, Python не может читать все это в памяти сразу. Будет ли это страница или закончится память?
- архив с открытием ошибок (7z) в python при создании 7zip
- Как мне сжать сжатие строки в Python?
- zlib декомпрессии в python
- Как читать имена файлов, включенные в файл gz
- Python lzjb-декодер?
Вы можете выполнять итерацию через объект LZMAFile
import lzma # python 3, try lzmaffi in python 2 with open('one-csv-file.xz') as compressed: with lzma.LZMAFile(compressed) as uncompressed: for line in uncompressed: do_stuff_with(line)
Вы можете выполнить распаковку поэтапно. См. Сжатие с использованием алгоритма LZMA . Вы создаете объект LZMADecompressor
, а затем используете метод decompress
с последовательными фрагментами сжатых данных для получения последовательных фрагментов несжатых данных.
- Шаблоны Django подсчитывают общее количество в forloop
- Algos – Удалить Extremes из списка целых чисел в Python?
- Сжатие UTF-8 (или другого 8-битного кодирования) до 7 или менее бит
- Реализации Python: Inflate и Deflate
- Извлечение содержимого zip-файла в конкретный каталог в Python 2.7
- Сжатие с лучшим соотношением в Python?
- Декомпрессия с помощью PyLZMA
- Как я могу сжать четыре поплавка в строку?
- Python распаковывает поток байтов?
- Django: сжатие данных TextField (string) на уровне базы данных или уровне кода
- сжатие на уровне бит