Итерации по очень большому количеству файлов в папке

По умолчанию os.walk идет по дереву каталогов снизу вверх. Если у вас есть глубокое дерево со множеством листьев, я думаю, это может привести к штрафам за действия – или, по крайней мере, за увеличение времени «statup», так как walk должна прочитать много данных перед обработкой первого файла.

Все это было спекулятивным, пытались ли вы провести исследования по разминированию:

 for root, subFolders, files in os.walk(rootdir, topdown=True): ... 

РЕДАКТИРОВАТЬ:

Поскольку файлы, как представляется, находятся в плоском каталоге, возможно, glob.iglob может оставить более высокую производительность, возвращая итератор (тогда как другие методы, такие как os.walk , os.listdir или glob.glob сначала glob.glob список всех файлов). Не могли бы вы попробовать что-то вроде этого:

 import glob # ... for infile in glob.iglob( os.path.join(rootdir, '*.*') ): # ...