Tag: gzip

Модуль Python ZipFile медленно извлекает защищенные паролем файлы

Я пытаюсь написать python-скрипт, который должен извлечь zip-файл: Board: Beagle-Bone black ~ 1GHz Arm-Cortex-a8 , debian wheezy Zipfile: /home/milo/my.zip, ~ 8 MB >>> from zipfile import ZipFile >>> zip = ZipFile("/home/milo/my.zip") >>> zip.extractall(pwd="tst") другие решения с открытием и чтением -> запись zip-файла и извлечение даже определенного файла имеют тот же эффект. извлечение занимает около 3-4 […]

Компрессор Django с использованием gzip для обслуживания javascript

Я пытаюсь обслуживать файлы gzip с amazon s3. Это мои настройки.py: AWS_IS_GZIPPED = True AWS_PRELOAD_METADATA = True DEFAULT_FILE_STORAGE = 'storages.backends.s3boto.S3BotoStorage' STATICFILES_STORAGE = 'storages.backends.s3boto.S3BotoStorage' AWS_STORAGE_BUCKET_NAME = 'elasticbeanstalk-eu-west-1-2051565523' STATIC_URL = 'https://%s.s3.amazonaws.com/' % AWS_STORAGE_BUCKET_NAME COMPRESS_OFFLINE = True COMPRESS_ENABLED = True COMPRESS_URL = STATIC_URL COMPRESS_CSS_FILTERS = [ 'compressor.filters.css_default.CssAbsoluteFilter', 'compressor.filters.cssmin.CSSMinFilter' ] COMPRESS_JS_FILTERS = [ 'compressor.filters.jsmin.JSMinFilter', ] COMPRESS_STORAGE = 'compressor.storage.GzipCompressorFileStorage' Когда […]

Разбор больших, возможно сжатых файлов в Python

Я пытаюсь разобрать большой файл, строко за строкой, для получения соответствующей информации. Я могу получить либо несжатый, либо gzip-файл (возможно, мне придется редактировать zip-файл на более позднем этапе). Я использую следующий код, но я чувствую, что, поскольку я не являюсь внутри оператора with , я не разбираю файл за строкой и фактически загружаю весь файл […]

Python – Как gzip большой текстовый файл без MemoryError?

Я использую следующий простой скрипт Python для сжатия большого текстового файла (скажем, 10 ГБ) в экземпляре EC2 m3.large. Однако у меня всегда есть MemoryError : import gzip with open('test_large.csv', 'rb') as f_in: with gzip.open('test_out.csv.gz', 'wb') as f_out: f_out.writelines(f_in) # or the following: # for line in f_in: # f_out.write(line) След, который я получил, это: Traceback […]

Python gzip: размер OverflowError не помещается в int

Я пытаюсь сериализовать большой объект python, состоящий из набора массивов numpy с использованием pickle / cPickle и gzip. Эта процедура работает до определенного размера данных, и после этого я получаю следующую ошибку: –> 121 cPickle.dump(dataset_pickle, f) ***/gzip.pyc in write(self, data) 238 print(type(self.crc)) 239 print(self.crc) –> 240 self.crc = zlib.crc32(data, self.crc) & 0xffffffffL 241 self.fileobj.write( self.compress.compress(data) […]

Заполнить memcached сжатыми данными, обслуживать непосредственно из nginx

В python я генерирую сложные статические страницы. Затем я помещаю их в memcached, поэтому в следующий раз, когда они будут запрошены, они могут быть отправлены непосредственно из Nginx (без удара python вообще) Это отлично работало, пока я не понял, насколько неэффективно было хранить несжатый html в Nginx. Поэтому я попытался вручную загрузить данные gzip перед […]

Python: создать сжатый файл tar для потоковой записи

Мне нужно создать текстовый файл tar.gzipped. Есть ли способ создать файл для постоянной записи (чтобы сделать что-то вроде compressedFile.write("some text") ), или мне нужно сначала создать исходный текстовый файл и сжать его обратно? Это будет очень неудачно, так как файл должен быть очень длинным и хорошо сжимаемым.

gzip не удается записать большое количество данных в файле

У меня большие сжатые файлы gzip. Я написал фрагмент кода, чтобы разбить эти файлы на более мелкие. Я могу указать количество строк в файле. Дело в том, что я недавно увеличил количество строк в расчете до 16 000 000, и когда я обрабатываю большие файлы, разделение не произойдет. Иногда создается небольшой файл, иногда он создается, […]

Как агрегировать значения более чем в RAM gzip'ed csv-файле?

Для начала я новичок в биоинформатике и особенно в программировании, но я создал скрипт, который будет проходить через так называемый файл VCF (только отдельные лица включены, один clumn = один человек) и использует строку поиска, чтобы узнать для каждого варианта (линии) является ли человек гомозиготным или гетерозиготным. Этот скрипт работает, по крайней мере, на небольших […]

Бесконечный цикл при потоковой передаче файла .gz из S3 с помощью boto

Я пытаюсь передать файл .gz из S3 с помощью boto и перебирать строки в текстовом файле без распаковки. Таинственно, цикл никогда не заканчивается; когда весь файл был прочитан, итерация перезапускается в начале файла. Предположим, я создаю и загружаю входной файл следующим образом: > echo '{"key": "value"}' > foo.json > gzip -9 foo.json > aws s3 […]

 
Interesting Posts for Van-Lav

Как использовать цикл цикла C в Python?

Удаление строки в файле

Как получить местоположение текста в PDF с помощью PDFMiner?

Использование настроек. LANGUAGES с правильно переведенными именами с использованием gettext ()

Файл журнала python не работает при использовании logging.basicConfig

подсчет записей в час, в день и создание мультииндекса DataFrame в качестве вывода

Запрошенные модули недоступны: vtkRenderingOpenGL-cmake / OpenCVDetectVTK.cmake: 6 (find_package)

Python – конвертировать время в другой часовой пояс с am / pm

Требуются ли uWSGI и Nginx для работы с флеш-приложением?

ImportError на консоли, но не в PyCharm

как читать защищенные паролем excel в python

ImportError: нет модуля с именем psycopg2

Почему экземпляр webapp.WSGIApplication всегда определяется как глобальная переменная в коде двигателя приложений Google?

Как преобразовать путь в путь Mac OS X, нормальную форму почти-NFD?

Лучший способ подсчета количества строк с отсутствующими значениями в pandas DataFrame

Python - лучший язык программирования в мире.