Tag: csv

Как записать файл .csv из генератора в python

Мой генератор выглядит следующим образом: def mygen(reader): for row in reader: yield row[0],row[1],row[2],row[3],row[4] Я пытаюсь вставить эти генерируемые генератором значения следующим образом: file1=open(f2,"w") writes=csv.writer(file1,delimiter=' ',quoting=csv.QUOTE_ALL) g=mygen(reader) for x in g: writes.writerow([x]) Он вводит пустые строки в файл без вывода каких-либо данных. Он отлично работает, когда я использую тот же генератор для вставки кода в таблицу.

Извлечение вложенного JSON, внедренного в виде строки в Dataframe Pandas

У меня есть CSV, где одно из полей представляет собой вложенный объект JSON, который хранится в виде строки. Я хотел бы загрузить CSV в dataframe и проанализировать JSON в набор полей, добавленных к исходному фреймворку данных; другими словами, извлечь содержимое JSON и сделать их частью блока данных. Мой CSV: id|dist|json_request 1|67|{"loc":{"lat":45.7, "lon":38.9},"arrival": "Monday", "characteristics":{"body":{"color":"red", "make":"sedan"}, […]

Чтение CSV-файлов в numpy, где разделителем является «,»,

У меня есть файл CSV с форматом, который выглядит так: «FieldName1», «FieldName2», «FieldName3», «FieldName4» «13.04.2010 14: 45: 07.008», «7.59484916392», «10», «6.552373» «13.04.2010 14: 45: 22.010», «6.55478493312», «9», «3.5378543» … Обратите внимание, что в начале и конце каждой строки в CSV-файле есть символы двойной кавычки, а строка "," используется для разграничения полей внутри каждой строки. Количество […]

Запись CSV в файл

Я должен добавить конкретный ярлык в мой CSV файл на основе условий. Файл CSV имеет 10 столбцов, а третий, четвертый и пятый столбцы – те, которые больше всего влияют на условия, и я добавляю свою метку в десятый столбец. У меня есть код, который заканчивается бесконечным циклом: import csv import sys w = open(sys.argv[1], 'w') […]

Python csv.DictReader: строка синтаксического анализа?

Я загружаю CSV-файл непосредственно из URL-адреса с помощью requests . Как я могу проанализировать полученную строку с помощью csv.DictReader ? Прямо сейчас у меня это: r = requests.get(url) reader_list = csv.DictReader(r.text) print reader_list.fieldnames for row in reader_list: print row Но я просто получаю ['r'] в результате fieldnames , а затем все виды странных вещей из […]

Фильтровать RDD на основе row_number

sc.textFile (путь) позволяет читать файл HDFS, но он не принимает параметры (например, пропускать несколько строк, has_headers, …). в электронной книге «Learning Spark» O'Reilly предлагается использовать следующую функцию для чтения CSV (пример 5-12. Пример CSV загрузки Python) import csv import StringIO def loadRecord(line): """Parse a CSV line""" input = StringIO.StringIO(line) reader = csv.DictReader(input, fieldnames=["name", "favouriteAnimal"]) return […]

Попытка понять python csv .next ()

У меня есть следующий код, который является частью учебника import csv as csv import numpy as np csv_file_object = csv.reader(open("train.csv", 'rb')) header = csv_file_object.next() data = [] for row in csv_file_object: data.append(row) data = np.array(data) код работает так, как предполагается, но мне непонятно, почему работает вызов .next() в файле с header переменной. Не все ли […]

Python CSV: удалить кавычки из значения

У меня есть процесс, в котором файл CSV можно загрузить, отредактировать, а затем загрузить. При загрузке CSV-файл находится в правильном формате, без двойных кавычек 1, someval, someval2 Когда я открываю CSV в электронной таблице, редактирую и сохраняю, он добавляет двойные кавычки вокруг строк 1, "someEditVal", "someval2" Я полагал, что это всего лишь действие электронной таблицы […]

numpy savetxt, созданный как integer, не сохраняет нули

Я пытаюсь сохранить numpy.array в .csv следующим образом. with open("resultTR.csv", "wb") as f: f.write(b'ImageId,Label\n') numpy.savetxt(f, result, fmt='%i', delimiter=",") результатом является numpy.array, состоящий из двух столбцов, первый столбец – это индексы (числа от 1 до n) и значения второго столбца от (0,9). К сожалению, у меня проблема: всякий раз, когда во втором столбце есть 0, ничто […]

Python: данные строки фильтра Pandas на основе длины строки

Мне нравится отфильтровывать данные, длина строки которых не равна 10. Если я попытаюсь отфильтровать любую строку, длина строки столбца A или B которой не равна 10, я попробовал это. df=pd.read_csv('filex.csv') df.A=ciq.A.apply(lambda x: x if len(x)== 10 else np.nan) df.B=ciq.B.apply(lambda x: x if len(x)== 10 else np.nan) df=df.dropna(subset=['A','B'], how='any') Это работает медленно, но работает. Однако иногда […]

Python - лучший язык программирования в мире.