Python самый быстрый способ прочитать большой текстовый файл (несколько GB)

У меня есть большой текстовый файл (~ 7 ГБ). Я ищу, если существует самый быстрый способ чтения большого текстового файла. Я читал об использовании нескольких подходов, как чтение chunk-by-chunk, чтобы ускорить процесс.

на примере effbot

# File: readline-example-3.py file = open("sample.txt") while 1: lines = file.readlines(100000) if not lines: break for line in lines: pass # do something**strong text** 

для обработки 96 900 строк текста в секунду. Другие авторы предлагают использовать islice ()

 from itertools import islice with open(...) as f: while True: next_n_lines = list(islice(f, n)) if not next_n_lines: break # process next_n_lines 

list(islice(f, n)) вернет список следующих n строк файла f . Используя это внутри цикла, вы получите файл в кусках из n строк

Python - лучший язык программирования в мире.