Python – поиск элементов в сотнях больших, gzip-файлов

Это поможет иметь пример нескольких строк и ожидаемого результата. Но из того, что я понимаю, вот некоторые идеи.

Вы, конечно же, не хотите обрабатывать все файлы каждый раз, когда обрабатываете один файл или, что еще хуже, один 4-граммовый. В идеале вы могли бы пройти каждый файл один раз. Поэтому мое первое предложение состоит в том, чтобы поддерживать промежуточный список частот (эти наборы из 10 точек данных), где они сначала учитывают только один файл. Затем, когда вы обрабатываете второй файл, вы обновляете все частоты для предметов, с которыми вы сталкиваетесь (и предположительно добавляете новые элементы). Тогда вы будете продолжать так, увеличивая частоты, когда найдете более подходящие n-граммы. В конце напишите все.

Более конкретно, на каждой итерации я читал новый входной файл в память как карту строки для числа, где строка – это, скажем, n-грамм, разделенный пробелом, а число – его частота. Затем я обработал промежуточный файл с последней итерации, которая будет содержать ожидаемый результат (с неполными значениями), например «abcd: 10 20 30 40 5 4 3 2 1 1» (вид угадывания вывода, который вы ищете здесь ). Для каждой строки я просматриваю на карте все подграммы на моей карте, обновляю счет и выписываю обновленную строку в новый выходной файл. Этот будет использоваться в следующей итерации, пока я не обработаю все входные файлы.