Tag: csv

Ошибка для токенизации данных. Ошибка C: EOF после escape-символа

Я пытаюсь загрузить текстовый файл csv, который я создал с помощью приложения OS X, написанного в Objective-C (с использованием XCode). Текстовый файл (temp2.csv) отлично выглядит в редакторе, но с ним что-то не так, и я получаю эту ошибку при чтении ее в кадре данных Pandas. Если я скопирую данные в свежий текстовый файл (temp.csv) и […]

Как изменить dtype в TensorFlow для файла csv?

Вот код, который я пытаюсь запустить, import tensorflow as tf import numpy as np import input_data filename_queue = tf.train.string_input_producer(["cs-training.csv"]) reader = tf.TextLineReader() key, value = reader.read(filename_queue) record_defaults = [[1], [1], [1], [1], [1], [1], [1], [1], [1], [1], [1]] col1, col2, col3, col4, col5, col6, col7, col8, col9, col10, col11 = tf.decode_csv( value, record_defaults=record_defaults) features […]

Почему csv.reader не является питоническим?

Я начал использовать csv.reader в Python 2.6, но вы не можете использовать len на нем или разрезать его и т. Д. В чем причина этого? Это, безусловно, очень ограничивает. Или это просто заброшенный модуль в более поздних версиях?

python: как я всегда начинаю со второй строки в csv?

b содержит содержимое файла csv мне нужно пройти через каждую строку b; однако, поскольку у него есть заголовок, я не хочу обращать внимание на заголовок. как начать со второй строки? for row in b (starting from the second row!!):

Как правильно прочитать файл csv, если каждая строка содержит различное количество полей (число довольно большое)?

У меня есть текстовый файл с amazon, содержащий следующую информацию: # user item time rating review text (the header is added by me for explanation, not in the text file disjiad123 TYh23hs9 13160032 5 I love this phone as it is easy to use hjf2329ccc TGjsk123 14423321 3 Suck restaurant Как вы видите, данные разделяются […]

определить тип значения, которое представлено в виде строки в python

Когда я читаю файл или строку, разделенные запятыми, с парсером csv в python, все элементы представлены в виде строки. см. пример ниже. import csv a = "1,2,3,4,5" r = csv.reader([a]) for row in r: d = row d ['1', '2', '3', '4', '5'] type (d [0]) <type 'str'> Я хочу определить для каждого значения, если […]

Каков самый быстрый способ объединить 100 CSV-файлов с заголовками в один?

Какой самый быстрый способ объединить 100 CSV-файлов с заголовками в один со следующей настройкой: Общий размер файлов – 200 МБ. (Размер уменьшается, чтобы сделать время вычисления видимым) Файлы расположены на SSD с максимальной скоростью 240 МБ / с. Процессор имеет 4 ядра, поэтому допускается многопоточность и несколько процессов. Существует только один узел (важный для Spark) […]

Python MySQL CSV экспортирует в json странную кодировку

Я получил файл csv, экспортированный из базы данных MySQL (я думаю, что кодирование является латинским, поскольку язык испанский). К сожалению, кодировка неверна, и я не могу ее вообще обработать. Если я использую файл: $ file -I file.csv file.csv: text/plain; charset=unknown-8bit Я попытался прочитать файл в python и преобразовать его в utf-8, например: r.decode('latin-1').encode("utf-8") или используя […]

Есть ли файл сценариев csv Python, способный сопоставлять скорость записи данных.table?

Я хочу сопоставить R data.table::fwrite csv скорость записи файлов в Python. Давайте проверим некоторые тайминги. Первый R … library(data.table) nRow=5e6 nCol=30 df=data.frame(matrix(sample.int(100,nRow*nCol,replace=TRUE),nRow,nCol)) ta=Sys.time() fwrite(x=df,file="/home/cryo111/test2.csv") tb=Sys.time() tb-ta #Time difference of 1.907027 secs То же самое для Python с использованием pandas.to_csv import pandas as pd import numpy as np import datetime nRow=int(5e6) nCol=30 df = pd.DataFrame(np.random.randint(0,100,size=(nRow, nCol))) […]

Ускорение обработки светом файла CSV размером ~ 50 ГБ

У меня есть файл csv размером 50 ГБ, с которым я должен Возьмите несколько подмножеств столбцов CSV Примените другую спецификацию строки формата к каждому подмножеству столбцов CSV. Выведите новый CSV для каждого подмножества с его собственной спецификацией формата. Я решил использовать Pandas и имел общий подход к итерации над кусками удобного размера куска (всего более […]

 
Interesting Posts for Van-Lav

Как загладить первую букву каждого слова в строке (Python)?

Ошибка Nump в Python

Лас-лайневый каскадер не использует графический процессор эффективно

запись большого количества данных в stdin

PIL Image Преобразование из RGB в YCbCr Результаты в 4-х каналах вместо 3 и ведётся как RGB

Добавление функциональности Readline без перекомпиляции Python

Функции, отличные от членов и членов в Python

Дизайн класса Python – разделение больших классов на несколько групп для групповой работы

Python, networkx

Как получить лучший оценщик на GridSearchCV (Случайный классификатор леса Scikit)

сервер django dev, добавление заголовков в статические файлы

Какая магия предотвращает блокировку программ Tkinter в интерактивной оболочке?

Сопоставление списков значений для ключей dict и return key / value в новом dict

Python: расширенное синтаксис понимания вложенных списков

Могу ли я подделывать / издеваться над типом моих макетных объектов в python unittests

Python - лучший язык программирования в мире.