Загрузка большого CSV-файла с помощью pandas

Я пытаюсь загрузить файл csv (около 250 МБ) в качестве dataframe с помощью pandas. В моей первой попытке я использовал типичную команду read_csv, но получаю память ошибок. Я пробовал подход, упомянутый в Большом, постоянном DataFrame в пандах, используя куски:

x=pd.read_csv('myfile.csv', iterator=True, chunksize=1000) xx=pd.concat([chunk for chunk in x], ignore_index=True) 

но когда я попытался выполнить конкатенацию, я получил следующую ошибку: Исключение: «Все переданные объекты были None» . На самом деле я не могу получить доступ к кускам

Я использую winpython 3.3.2.1 для 32 бит с pandas 0.11.0

2 Solutions collect form web for “Загрузка большого CSV-файла с помощью pandas”

Я предлагаю вам установить 64-битную версию winpython. Тогда вы можете загрузить файл объемом 250 МБ без проблем.

Я опаздываю, но реальная проблема с размещенным кодом заключается в том, что использование pd.concat([chunk for chunk in x]) эффективно отменяет любое преимущество chunking, потому что оно снова объединяет все эти фрагменты в один большой DataFrame.
Это, вероятно, даже требует дважды памяти временно.

  • Итерирование кадра данных pandas, проверка значений и создание некоторых из них
  • Как суммировать значения в столбце, которые соответствуют заданному условию с использованием pandas?
  • выбор из мультииндексных панд
  • Панды, строящие два графика на одной шкале
  • DataFrame Panda - переименование нескольких одинаково названных столбцов
  • Построение 3D Pandas DataFrame
  • Разница в различиях в Python + Pandas
  • Как я могу создать объект среза DataFrame по частям?
  • Модульная арифметика в python для итерации кадра данных pandas
  • Передача данных панд в класс
  • форматирование непоследовательных данных даты с помощью панд
  • Python - лучший язык программирования в мире.