Tag: csv

Разница в производительности в pandas read_table против read_csv vs. from_csv vs. read_excel?

Я предпочитаю импортировать CSV-файлы в pandas, но иногда я могу получить данные в других форматах для создания объектов DataFrame . Сегодня я узнал о read_table как «общем» импортере для других форматов и задался вопросом, были ли существенные различия в производительности между различными методами в pandas для чтения CSV-файлов, например read_table , from_csv , read_excel . […]

pandas чтение csv ориентация

Hei Я пытаюсь прочитать в pandas файл csv, который вы можете скачать здесь (оценки euribor, я думаю, вы можете представить себе причину, по которой я хотел бы иметь этот файл!). Файл представляет собой файл CSV, но он как-то странно ориентирован. Если вы импортируете его в Excel, файл имеет формат 02/01/2012,03/01/2012,04/01/2012,,,, 1w 0.652,0.626,0.606,,,, 2w,0.738,0.716,0.700,,,, действовать с […]

pandas не могут читать из большого объекта StringIO

Я использую pandas для управления большим массивом из 8-байтных целых чисел. Эти целые числа включаются как элементы с разделителями-разделителями в столбце в CSV-файле с разделителями-запятыми, а размер массива – около 10000×10000. Pandas может быстро считывать данные с разделителями-запятыми из первых нескольких столбцов в виде DataFrame, а также быстро хранить строки с разделителями по пространству в […]

Файл с разделителями-табуляторами с использованием csv.reader, не ограничивающий, где я ожидаю

Я пытаюсь прокрутить файл с разделителями табуляции результатов выборов, используя Python. Следующий код не работает, но когда я использую локальный файл с тем же результатом (прокомментированная строка), он работает так, как ожидалось. Единственное, о чем я могу думать, это некоторые заголовки или тип контента, которые мне нужно передать URL, но я не могу понять это. […]

подписывать определенную строку из csv-читателя python?

я хотел бы иметь доступ к определенным строкам csv-файла через csv-ридер. Например, четвертая строка. Есть ли способ сделать это с помощью модуля чтения csv python?

Самый быстрый способ преобразования данных с использованием csv.DictReader в python

Я работаю с CSV-файлом в python, который будет иметь ~ 100 000 строк при использовании. Каждая строка имеет набор измерений (как строки) и одну метрику (float). Поскольку csv.DictReader или csv.reader возвращают значения только как строку, я в настоящее время повторяю все строки и преобразовываю одно числовое значение в float. for i in csvDict: i[col] = […]

Правильный способ сброса csv.reader для нескольких итераций?

Проблема с пользовательским итератором заключается в том, что он будет обрабатывать только один раз. Я StopIteration seek(0) в соответствующем файловом объекте между итерациями, но StopIteration бросается на первый вызов next() во время второго прогона. Я чувствую, что упускаю из виду что-то очевидное, но буду благодарен за свежий взгляд на это: class MappedIterator(object): """ Given an […]

Преобразование строковых объектов в int / float с использованием панд

import pandas as pd path1 = "/home/supertramp/Desktop/100&life_180_data.csv" mydf = pd.read_csv(path1) numcigar = {"Never":0 ,"1-5 Cigarettes/day" :1,"10-20 Cigarettes/day":4} print mydf['Cigarettes'] mydf['CigarNum'] = mydf['Cigarettes'].apply(numcigar.get).astype(float) print mydf['CigarNum'] mydf.to_csv('/home/supertramp/Desktop/powerRangers.csv') Файл csv «100 & life_180_data.csv» содержит столбцы, такие как возраст, bmi, сигареты, алокохол и т. Д. No int64 Age int64 BMI float64 Alcohol object Cigarettes object dtype: object Сигаретная колонка […]

Вычисление количества вхождений и внесение и добавление их в csv

Мне нужно рассчитать следующее: Количество раз, когда человек появляется в списке по датам до даты, указанной в строке, а 1 – в столбце 7. Количество раз, когда человек (столбец 8) появляется в списке по датам до даты, указанной в строке (обратите внимание, что они отсортированы в хронологическом порядке). Это может быть проще продемонстрировать на примере […]

Предварительный файл данных перед pandas read_csv

Я работаю с данными, выводимыми из SAP, но это не CSV, поскольку он не цитирует строки, содержащие его разделитель, а также фиксированную ширину, поскольку он имеет многобайтовые символы. Это своего рода «фиксированная ширина». Чтобы получить его в пандах, я в настоящее время читаю файл, получаю позицию разделителей, нарезаю каждую строку вокруг разделителей, а затем сохраняю […]

Python - лучший язык программирования в мире.