Проблема вашего примера.

Попытка вашего кода в небольшом масштабе, я замечаю, даже если вы установили dtype=int , на самом деле вы заканчиваете dtype=object в полученном вами фреймворке.

 header = ['a','b','c'] rows = 11 df = pd.DataFrame(columns=header, index=range(rows), dtype=int) df.dtypes a object b object c object dtype: object 

Это связано с тем, что, несмотря на то, что вы pd.read_csv функции pd.read_csv инструкцию, что столбцы dtype=int , она не может переопределить типы dtypes, которые в конечном итоге определяются данными в столбце.

Это связано с тем, что панды плотно связаны с numpy и numpy dtypes.

Проблема в том, что в созданном фреймворке данных нет данных, поэтому numpy по умолчанию использует данные np.NaN , которые не вписываются в целое число.

Это означает, что numpy запутался и по умолчанию возвращается к объекту dtype.

Проблема объекта dtype.

Наличие набора dtype для object означает большие накладные расходы на потребление памяти и время распределения по сравнению с тем, если бы вы установили dtype как integer или float.

Обходной путь для вашего примера.

 df = pd.DataFrame(columns=header, index=range(rows), dtype=float) 

Это работает отлично, поскольку np.NaN может жить в поплавке. Это производит

 a float64 b float64 c float64 dtype: object 

И нужно меньше памяти.

Подробнее о том, как относиться к dtypes

См. Этот связанный пост для получения подробной информации о dtype: Pandas read_csv low_memory и dtype options