проблема

Я заметил, что память, выделенная при повторении через объект Pandas GroupBy, не освобождается после итерации. Я использую resource.getrusage(resource.RUSAGE_SELF).ru_maxrss ( второй ответ в этом сообщении для подробностей ), чтобы измерить общий объем активной памяти, используемой процессом Python.

 import resource import gc import pandas as pd import numpy as np i = np.random.choice(list(range(100)), 4000) cols = list(range(int(2e4))) df = pd.DataFrame(1, index=i, columns=cols) gb = df.groupby(level=0) # gb = list(gb) for i in range(3): print(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / 1e6) for idx, x in enumerate(gb): if idx == 0: print(resource.getrusage(resource.RUSAGE_SELF).ru_maxrss / 1e6) # del idx, x # gc.collect() 

печатает следующую общую активную память (в гб)

• сортировать серию в Пандах?
• TypeError: module .__ init __ () принимает не более 2 аргументов (3 данных)
• Должен ли я использовать `app.exec ()` или `app.exec _ ()` в моем приложении PyQt?
• Почему Python eval () отклоняет эту многострочную строку и как я могу ее исправить?
• Как рассчитать cohen's d в Python?

 0.671732 1.297424 1.297952 1.923288 1.923288 2.548624 

Решения

Недостатки del idx, x и gc.collect() устраняют проблему. Тем не менее, мне приходится обрабатывать все переменные, которые ссылаются на DataFrames, возвращаемые путем итерации по группе (что может быть болью в зависимости от кода во внутреннем цикле). Новые способы использования печатной памяти:

 0.671768 1.297412 1.297992 1.297992 1.297992 1.297992 

В качестве альтернативы я могу раскомментировать gb = list(gb) . Полученные в результате операции памяти примерно такие же, как и в предыдущем решении:

 1.32874 1.32874 1.32874 1.32874 1.32874 1.32874 

Вопросов

1. Почему память для DataFrames, возникающая в результате итерации через группу, не освобождается после завершения итерации?
2. Есть ли лучшее решение, чем два выше? Если нет, то какое из этих двух решений «лучше»?