Сжатие объекта Python в памяти
Большинство учебных пособий по сжатию файла в Python включают немедленную запись этого файла на диск без промежуточного сжатого объекта python. Я хочу знать, как распиливать, а затем сжимать объект python в памяти, не записывая и не читая с диска.
- Выходной файл Django Compressor Blank Css
- Чтение строки за строкой содержимого файла 80 ГБ .gz без разжатия
- Как сжать строку в Python, чтобы сохранить ее в Redis?
- Как использовать кодировку gzip с помощью приложения wsgi?
- распаковывать файл с помощью Python и возвращать все каталоги, которые он создает
Я использую это, чтобы сохранить память в одном месте:
import cPickle import zlib # Compress: compressed = zlib.compress(cPickle.dumps(obj)) # Get it back: obj = cPickle.loads(zlib.decompress(compressed))
Если obj
имеет ссылки на несколько небольших объектов, это может уменьшить объем памяти, используемый большим количеством. Множество небольших объектов в Python складывается из-за издержек памяти для каждого объекта, а также фрагментации памяти.
Батареи включены.
>>> zlib.compress(pickle.dumps([42])) 'x\x9c\xd3\xc8)0\xe0\xf241\xe2J\xd4\x03\x00\x10A\x02\x87'
bz2.compress(pickle.dumps(some_object))
- TypeError: не может конкатенировать объекты 'str' и 'list' в электронной почте
- Преобразование строки в словарь python
- Как открыть и прочитать файл LZMA в памяти
- Модуль zipfile Python не сжимает файлы
- Не удается открыть файл bz2-compression (с файлом python) с обычным менеджером архива
- Как определить, сжат ли файл gzip?
- сжатые файлы больше в h5py
- архив с открытием ошибок (7z) в python при создании 7zip
- Django: сжатие данных TextField (string) на уровне базы данных или уровне кода
- Как сжать файл с помощью shutil.make_archive в python?
- Каков более быстрый способ сжатия этих данных?