Чтение двоичного файла с памятью
Я прочитал большой файл в коде ниже, который имеет специальную структуру – среди прочего, два блока, которые нужно обрабатывать одновременно. Вместо того, чтобы искать назад и вперед в файле, я загружаю эти два блока, завернутые в вызовы memoryview
with open(abs_path, 'rb') as bsa_file: # ... # load the file record block to parse later file_records_block = memoryview(bsa_file.read(file_records_block_size)) # load the file names block file_names_block = memoryview(bsa_file.read(total_file_name_length)) # close the file file_records_index = names_record_index = 0 for folder_record in folder_records: name_size = struct.unpack_from('B', file_records_block, file_records_index)[0] # discard null terminator below folder_path = struct.unpack_from('%ds' % (name_size - 1), file_records_block, file_records_index + 1)[0] file_records_index += name_size + 1 for __ in xrange(folder_record.files_count): file_name_len = 0 for b in file_names_block[names_record_index:]: if b != '\x00': file_name_len += 1 else: break file_name = unicode(struct.unpack_from('%ds' % file_name_len, file_names_block,names_record_index)[0]) names_record_index += file_name_len + 1
Файл правильно разобран, но поскольку это мое первое использование интерфейса mamoryview, я не уверен, что делаю это правильно. Файл_names_block состоит из невидимых строк c.
- Множественные условия с операторами if / elif
- Не удается отправить электронную почту через python с помощью gmail - smtplib.SMTPException: расширение SMTP AUTH не поддерживается сервером
- Создайте Spark DataFrame. Невозможно вывести схему для типа: <type 'float'>
- Каков самый простой способ достижения графика в реальном времени в pyqtgraph
- Как укоротить (разрешить) URL-адрес, используя python, когда конечный URL-адрес - https?
- Является ли мой трюк
file_names_block[names_record_index:]с использованием магии памяти или создаю некоторые n ^ 2 среза? Нужно ли использовать здесьislice? - Как видно, я просто ищу нулевой байт вручную, а затем
unpack_fromкunpack_from. Но я прочитал в разделе Как разбить строку байта на отдельные байты в python, что я могу использоватьcast()(docs?) В представлении памяти – каким-либо образом использовать этот (или другой трюк) для разделения вида в байтах? Могу ли я просто вызватьsplit('\x00')? Это сохранит эффективность памяти?
Я хотел бы получить представление об одном правильном способе сделать это (в python 2).
- Разберите столбец Pandas в Datetime
- ValueError: невозможно преобразовать строку в float: '1'
- Правильно ли использовать «import __main__»?
- Python 3 urllib создает TypeError: данные POST должны быть байтами или итерируемыми байтами. Это не может быть типа str
- Не удалось распаковать изображение в OpenCV
One Solution collect form web for “Чтение двоичного файла с памятью”
memoryview не даст вам никаких преимуществ, когда дело доходит до строк с нулевым завершением, поскольку у них нет возможностей ни для чего, кроме данных фиксированной ширины. Вы можете также использовать здесь bytes.split() :
file_names_block = bsa_file.read(total_file_name_length) file_names = file_names_block.split(b'\00')
Нарезка memoryview не использует дополнительную память (кроме параметров представления), но если вы используете приведение, вы создаете новые собственные объекты для области анализируемой памяти в тот момент, когда вы пытаетесь получить доступ к элементам в последовательности.
Вы все еще можете использовать memoryview для синтаксического анализа file_records_block ; эти строки имеют префикс длины, давая вам возможность использовать нарезку. Просто продолжайте нарезать байты представления памяти при обработке параметров folder_path , нет необходимости хранить индекс:
for folder_record in folder_records: name_size = file_records_block[0] # first byte is the length, indexing gives the integer folder_path = file_records_block[1:name_size].tobytes() file_records_block = file_records_block[name_size + 1:] # skip the null
Поскольку memoryview была получена из объекта с bytes , индексирование даст вам целочисленное значение для байта, .tobytes() на данном срезе дает вам новую строку bytes для этого раздела, и вы можете продолжить фрагмент, чтобы оставить остаток для следующего цикла.
- Как удалить пробелы во время записи в INI-файле - Python
- Список списка словарей в список списка словарей с одинаковым значением стоимости
- Как сделать «массив / список», чтобы сделать «(int, list) -> float» в Python2.7
- Использование scipy.io.savemat для сохранения вложенных списков
- Как нажать <CTRL>
- Openpyxl заполняет соседние ячейки
- codecs.open (utf-8) не читает обычный ASCII-файл
- Webbrowser в Python
- Зачем понимать список в переменной цикла, но генераторы этого не делают?
- Программа застревает при использовании subprocess.Popen () или subprocess.check_call ()
- библиотека memoization для python 2.7
- Как выбрать бункеры в гистограмме matplotlib