Tag: сжатие

Python lzjb-декодер?

Я хотел бы использовать jslzjb https://code.google.com/p/jslzjb/ для сжатия моих js-данных. Тем не менее, я также должен иметь возможность распаковывать его в Python. Я посмотрел на pylzjb https://code.google.com/p/pylzjb/ , как предлагает jslzjb, но он работает только с Python 2.6. У меня Python2.7. Какие-нибудь другие библиотеки? Мне нужно, чтобы кодировка на стороне клиента была быстрой, поэтому я […]

Пример сжатия DEFLATE и организация байтов

Я начинаю с сжатия LZ77, и я прочитал все ссылки google о deflate, huffman и сжатии LZ77. Я точно понял, как работает это сжатие, и я точно знаю, как его реализовать в текстовом режиме, НО: Я не знаю, могу ли я сделать правильный путь, чтобы его можно было декодировать любым zip-декодером. Я имею в виду, […]

Сжатый текст для хранения в базе данных mysql, должен ли он быть base64

Я получил здесь код, который определяет сжатое текстовое поле. Мне нужно сделать это, потому что я храню слишком много текста, и моя база данных слишком большая. Проблема в том, что у кода нет документации, и это запутывает. В частности, я немного изменил код, здесь: def get_prep_value(self,value): if not value: return value try: tmp = value.encode('utf-8').encode('bz2') […]

Python: открыть сжатую базу данных SQLite

В Python существует более или менее хакерский способ открыть сжатую базу данных SQLite без необходимости писать временный файл где-нибудь? Что-то вроде: import bz2 import sqlite3 dbfile = bz2.BZ2File("/path/to/file.bz2", "wb") dbconn = sqlite3.connect(dbfile) cursor = dbconn.cursor() … Это, конечно же, повышает: ValueError: database parameter must be string or APSW Connection object Благодаря!

Сжатие Python многих объектов с помощью одной таблицы сжатия

Рассмотрим много (10 или 100 миллионов) довольно коротких (около 100 символов ascii) строк, которые содержат много повторяющихся подстрок. Я хотел бы использовать строки в программе Python, но сжимаю их, чтобы сэкономить место. Большинство алгоритмов сжатия, таких как Lempel-Ziv (LZ), используют таблицу поиска для кодирования сжатых данных. Есть ли способ использовать существующую библиотеку сжатия (например, zlib […]

Сжатие DXT для Python

В настоящее время я работаю с изображениями, а некоторые сжаты DXT, мне нужен простой способ распаковки и сжатия этих файлов с помощью Python. К сожалению, мне не удалось найти библиотеку, которая сделает это для меня. Кто-нибудь знает хорошую библиотеку DXT-Compression для Python или интерфейс библиотеки compresion? – dav1d Редактировать: libsquish – это путь сюда, но, […]

Как можно копировать внутреннее состояние объекта компрессора zlib в Python

Мне нужно сжать длинный список строк. Я должен сжимать их по отдельности. Каждая строка имеет длину менее 1000 символов. Однако многие из этих строк имеют общий префикс. Поэтому мне было интересно, могу ли я амортизировать затраты на сжатие, сначала сжимая общий префикс, а затем сохраняя состояние компрессора и подавая его суффикс строк. Если у вас […]

сжатие на уровне бит

Я планирую архивировать часы данных датчика в файле. Для этого датчика разрешение (количество используемых бит) прекрасно известно: 22 бит Моя первая попытка состояла в том, чтобы написать последовательность 22 битовых значений, объединенных в поток бит. И он отлично работает, особенно когда сигнал сложный. Однако, когда сигнал сильно сжимаем, я посчитал более интересным разместить мои предметы […]

Сжатие текстовой строки с существующим заголовком сжатия

Я хочу сжать заданную строку с уже существующим заголовком, полученным из уже сжатого файла в архиве (заголовок локального файла). Я попытался посмотреть на zlib, и, хотя их сжатие / распаковка отлично работает, я не могу найти вариант установки заголовка сжатия. Я хочу, чтобы избежать распаковки файла, добавить строку в файл, а затем повторно сжать файл. […]

Декомпрессия сжатой строки ZLib с использованием Byte Slicing

Я использую следующие строки в моем коде: payloadByte = zlib.compress(str.encode("hello")) print(zlib.decompress(payloadByte[0:4])) Однако zlib выдает следующую ошибку: zlib.error: Error -5 while decompressing data: incomplete or truncated stream Мне нужно использовать методы обработки байтов из-за того, что я должен распаковываться из определенной точки в большом массиве байтов. Я создал этот массив байтов, используя структуру, например: messageIdByte = […]