Tag: csv

Почему csv.reader не является питоническим?

Я начал использовать csv.reader в Python 2.6, но вы не можете использовать len на нем или разрезать его и т. Д. В чем причина этого? Это, безусловно, очень ограничивает. Или это просто заброшенный модуль в более поздних версиях?

python: как я всегда начинаю со второй строки в csv?

b содержит содержимое файла csv мне нужно пройти через каждую строку b; однако, поскольку у него есть заголовок, я не хочу обращать внимание на заголовок. как начать со второй строки? for row in b (starting from the second row!!):

Как правильно прочитать файл csv, если каждая строка содержит различное количество полей (число довольно большое)?

У меня есть текстовый файл с amazon, содержащий следующую информацию: # user item time rating review text (the header is added by me for explanation, not in the text file disjiad123 TYh23hs9 13160032 5 I love this phone as it is easy to use hjf2329ccc TGjsk123 14423321 3 Suck restaurant Как вы видите, данные разделяются […]

определить тип значения, которое представлено в виде строки в python

Когда я читаю файл или строку, разделенные запятыми, с парсером csv в python, все элементы представлены в виде строки. см. пример ниже. import csv a = "1,2,3,4,5" r = csv.reader([a]) for row in r: d = row d ['1', '2', '3', '4', '5'] type (d [0]) <type 'str'> Я хочу определить для каждого значения, если […]

Каков самый быстрый способ объединить 100 CSV-файлов с заголовками в один?

Какой самый быстрый способ объединить 100 CSV-файлов с заголовками в один со следующей настройкой: Общий размер файлов – 200 МБ. (Размер уменьшается, чтобы сделать время вычисления видимым) Файлы расположены на SSD с максимальной скоростью 240 МБ / с. Процессор имеет 4 ядра, поэтому допускается многопоточность и несколько процессов. Существует только один узел (важный для Spark) […]

Python MySQL CSV экспортирует в json странную кодировку

Я получил файл csv, экспортированный из базы данных MySQL (я думаю, что кодирование является латинским, поскольку язык испанский). К сожалению, кодировка неверна, и я не могу ее вообще обработать. Если я использую файл: $ file -I file.csv file.csv: text/plain; charset=unknown-8bit Я попытался прочитать файл в python и преобразовать его в utf-8, например: r.decode('latin-1').encode("utf-8") или используя […]

Есть ли файл сценариев csv Python, способный сопоставлять скорость записи данных.table?

Я хочу сопоставить R data.table::fwrite csv скорость записи файлов в Python. Давайте проверим некоторые тайминги. Первый R … library(data.table) nRow=5e6 nCol=30 df=data.frame(matrix(sample.int(100,nRow*nCol,replace=TRUE),nRow,nCol)) ta=Sys.time() fwrite(x=df,file="/home/cryo111/test2.csv") tb=Sys.time() tb-ta #Time difference of 1.907027 secs То же самое для Python с использованием pandas.to_csv import pandas as pd import numpy as np import datetime nRow=int(5e6) nCol=30 df = pd.DataFrame(np.random.randint(0,100,size=(nRow, nCol))) […]

Ускорение обработки светом файла CSV размером ~ 50 ГБ

У меня есть файл csv размером 50 ГБ, с которым я должен Возьмите несколько подмножеств столбцов CSV Примените другую спецификацию строки формата к каждому подмножеству столбцов CSV. Выведите новый CSV для каждого подмножества с его собственной спецификацией формата. Я решил использовать Pandas и имел общий подход к итерации над кусками удобного размера куска (всего более […]

Ошибка при чтении csv-файла в pandas

Поэтому я попытался прочитать все файлы csv из папки, а затем объединить их для создания большого csv (структура всех файлов была такой же), сохраните его и прочитайте снова. Все это было сделано с помощью Панды. Ошибка при чтении. Я присоединяю код и ошибку ниже. import pandas as pd import numpy as np import glob path […]

CSV Exports – упорядочение столбцов с помощью scraw crawl -o output.csv

Есть ли способ указать порядок столбцов в выводе CSV с использованием параметра -o? Кажется, что он соответствует случайному порядку и не соответствует порядку в файле items.py или когда поля элемента заполняются на скретче. Благодаря!

 
Interesting Posts for Van-Lav

Добавление чисел в строку

pandas: как запустить ось с мультииндексированием?

Как сделать неизвестный часовой пояс datetime в python

Проверьте, есть ли что-то «ожидание» возвращаемого значения функции

В производстве, Apache + mod_wsgi или Nginx + mod_wsgi?

Существующее развертывание проекта Django с использованием Apache и Mod_wsgi (windows)

Как избежать специальных символов строки с одиночными обратными косыми чертами

См., Когда пакеты были установлены / обновлены с помощью pip

Обертка пакетов в запросах на соединение до достижения последнего прокси

Писатель текстовых таблиц / принтер для Python

Получение имени и расширения загруженного файла с помощью python (движок Google)

не может подключиться к базе данных 64-битной MsAccess с 64-битной ошибкой драйвера Python 3.6.ODBC

Как swich theano.tensor to numpy.array?

Создание массива numpy из списка дает неправильную форму

Ошибки компоновщика с libmsodbcsql-13.0.so.0.0, предотвращающие соединение pyODBC с MS SQL. CentOS 7

Python - лучший язык программирования в мире.