Tag: csv

Импорт файлов csv & xlsx в кадр данных pandas: скорость

Чтение данных (всего 20000 номеров) из файла xlsx выполняется навсегда: import pandas as pd xlsxfile = pd.ExcelFile("myfile.xlsx") data = xlsxfile.parse('Sheet1', index_col = None, header = None) занимает около 9 секунд. Если я сохраню тот же файл в формате csv, он займет ~ 25 мс: import pandas as pd csvfile = "myfile.csv" data = pd.read_csv(csvfile, index_col […]

Преобразование CSV в YAML, с Unicode?

Я пытаюсь преобразовать CSV-файл, содержащий строки Unicode, в файл YAML с использованием Python 3.4. В настоящее время синтаксический анализатор YAML избегает моего текста в кодировке Unicode в строку ASCII. Я хочу, чтобы анализатор YAML экспортировал строку Unicode в виде строки Unicode без символов escape. Конечно, я что-то недопонимаю, и я был бы признателен за любую […]

Проблемы с Python CSV DictReader / Writer

Я пытаюсь извлечь кучу строк из файла CSV и записать их в другой, но у меня возникают некоторые проблемы. import csv f = open("my_csv_file.csv", "r") r = csv.DictReader(f, delimiter=',') fieldnames = r.fieldnames target = open("united.csv", 'w') w = csv.DictWriter(united, fieldnames=fieldnames) while True: try: row = r.next() if r.line_num <= 2: #first two rows don't matter […]

Добавить заголовок для CSV-файла?

Я пытаюсь добавить заголовок в свой файл CSV. Я импортирую данные из CSV-файла с двумя столбцами данных, каждый из которых содержит числа с плавающей запятой. Пример: 11 22 33 44 55 66 Теперь я хочу добавить заголовок для обоих столбцов, например: ColA ColB 11 22 33 44 55 66 Я пробовал это: with open('mycsvfile.csv', 'a') […]

Добавление столбца в python CSV и его перечисление

мой CSV выглядит John,Bomb,Dawn 3,4,5 3,4,5 3,4,5 Я хочу добавить столбец идентификатора спереди так: ID,John,Bomb,Dawn 1,3,4,5 2,3,4,5 3,3,4,5 используя функцию перечисления, но я не знаю, как это сделать. Вот мой код: import csv with open("testi.csv", 'rb') as input, open('temp.csv', 'wb') as output: reader = csv.reader(input, delimiter = ',') writer = csv.writer(output, delimiter = ',') all […]

Возврат строки из CSV, если указанное значение в строке соответствует условию

Ahoy, я пишу скрипт Python для фильтрации больших файлов CSV. Я хочу только сохранить строки, соответствующие моим критериям. Мой вход – CSV-файл в следующем формате Locus Total_Depth Average_Depth_sample Depth_for_17 chr1:6484996 1030 1030 1030 chr1:6484997 14 14 14 chr1:6484998 0 0 0 Я хочу вернуть строки, где Total_Depth равно 0. Я читал эти данные после этого […]

Модуль CSV Python – котировки пропадают

У меня есть файл CSV, у которого есть такие данные 15,"I",2,41301888,"BYRNESS RAW","","BYRNESS VILLAGE","NORTHUMBERLAND","ENG" 11,"I",3,41350101,2,2935,2,2008-01-09,1,8,0,2003-02-01,,2009-12-22,2003-02-11,377016.00,601912.00,377105.00,602354.00,10 Я читаю это, а затем записываю разные строки в разные CSV-файлы. Однако в исходных данных есть кавычки вокруг нечисловых полей, так как некоторые из них содержат запятые внутри поля. Я не могу сохранить цитаты. Я исследовал партии и обнаружил quoting=csv.QUOTE_NONNUMERIC однако […]

Файл CSV Python 3, предоставляющий UnicodeDecodeError: кодек «utf-8» не может декодировать ошибку байта при печати

У меня есть следующий код в Python 3, который предназначен для печати каждой строки в файле csv. import csv with open('my_file.csv', 'r', newline='') as csvfile: lines = csv.reader(csvfile, delimiter = ',', quotechar = '|') for line in lines: print(' '.join(line)) Но когда я запускаю его, он дает мне эту ошибку: UnicodeDecodeError: 'utf-8' codec can't decode […]

CSV удаляет поля обтекания поля

Я пытаюсь написать список в csv, однако, когда я это делаю, я получаю кавычки оболочки вокруг значений моего поля: number1,number2 "1234,2345" "1235.7890" "2345.5687" Используя этот код: with open('C:\\temp\\test.csv', 'wb') as out_file: … csv_writer = csv.writer(out_file, delimiter=',') … csv_writer.writerow(('number1','number2')) … for f in myList: … csv_writer.writerow(f) После дальнейших исследований я обнаружил, что вы можете удалить запись […]

Разница в производительности в pandas read_table против read_csv vs. from_csv vs. read_excel?

Я предпочитаю импортировать CSV-файлы в pandas, но иногда я могу получить данные в других форматах для создания объектов DataFrame . Сегодня я узнал о read_table как «общем» импортере для других форматов и задался вопросом, были ли существенные различия в производительности между различными методами в pandas для чтения CSV-файлов, например read_table , from_csv , read_excel . […]

Interesting Posts

Преобразование в Jython проекта Python 3.5 – UnicodeDecodeError: кодек Unicodeescape не может декодировать байты в позиции 4-10: незаконный символ Unicode

Intels Open Source uPNP SDK Имеет абсолютно 0 документации, почему?

Гистограмма изображения «Уровень черных чернил» по горизонтальной оси

Использование IntellijIdea в существующем virtualenv

Текст ускользнул, когда я хочу, чтобы он отображался как html в Flask / jinja2

Python int для двоичного?

Прочитать пароль от stdin

проблема блокировки многопроцессорности python

Использование partial_fit с трубопроводом Scikit

Словарь Python в таблице html

Автоматизация запросов на проверку с помощью ReviewBoard и Mercurial с использованием Python-перехватчиков

вычислять точки поворота / точки поворота в траектории (пути)

Python – Как удалить границу окна? Я импортировал UI из Qt в Python и применил setWindowFlags

Скребок с красивым супом: почему метод get_text не возвращает текст этого элемента?

Является ли порядок словаря Python гарантированным за итерации?

Python - лучший язык программирования в мире.