Загрузка большого CSV-файла с помощью pandas

Я пытаюсь загрузить файл csv (около 250 МБ) в качестве dataframe с помощью pandas. В моей первой попытке я использовал типичную команду read_csv, но получаю память ошибок. Я пробовал подход, упомянутый в Большом, постоянном DataFrame в пандах, используя куски:

x=pd.read_csv('myfile.csv', iterator=True, chunksize=1000) xx=pd.concat([chunk for chunk in x], ignore_index=True) 

но когда я попытался выполнить конкатенацию, я получил следующую ошибку: Исключение: «Все переданные объекты были None» . На самом деле я не могу получить доступ к кускам

Я использую winpython 3.3.2.1 для 32 бит с pandas 0.11.0

2 Solutions collect form web for “Загрузка большого CSV-файла с помощью pandas”

Я предлагаю вам установить 64-битную версию winpython. Тогда вы можете загрузить файл объемом 250 МБ без проблем.

Я опаздываю, но реальная проблема с размещенным кодом заключается в том, что использование pd.concat([chunk for chunk in x]) эффективно отменяет любое преимущество chunking, потому что оно снова объединяет все эти фрагменты в один большой DataFrame.
Это, вероятно, даже требует дважды памяти временно.

  • Как освободить память, используемую файловой рамкой pandas?
  • Что происходит, когда вы сравниваете 2 серии панд
  • Pandas Dataframe для Excel
  • Сплит-файл данных панд на основе groupby
  • Добавьте ярлыки x и y в сюжет панды
  • Dataframe Slice не удаляет значения индекса
  • используя сложные условия для формирования кадра данных панд из существующего
  • Как избежать «Значение пытается установить на копии среза из DataFrame»?
  • Python - лучший язык программирования в мире.