Я новичок в multiprocessing модуле, поэтому, пожалуйста, со мной. Следующий код, который я использую для параллельной обработки csv: #!/usr/bin/env python import csv from time import sleep from multiprocessing import Pool from multiprocessing import cpu_count from multiprocessing import current_process from pprint import pprint as pp def init_worker(x): sleep(.5) print "(%s,%s)" % (x[0],x[1]) x.append(int(x[0])**2) return x def […]
Я пытаюсь прочитать файл csv с помощью pandas, и в файле есть столбец под названием «Теги», который состоит из пользовательских тегов и имеет теги типа «,», «», 1950-е, 16-й век. Поскольку они предоставляются пользователю, есть много специальных символов, которые вводятся по ошибке. Проблема в том, что я не могу открыть файл csv с помощью pandas […]
Я взял этот скрипт отсюда : import csv from itertools import izip f = open( '/django/sw2/wkw2/csvtest1.csv', 'r' ) reader = csv.reader( f ) keys = ( "firm_url", "firm_name", "first", "last", "school", "year_graduated" ) out = [] for property in reader: property = iter( property ) data = {} for key in keys: data[ key ] […]
У меня очень большой CSV-файл со 100 столбцами. Чтобы проиллюстрировать мою проблему, я буду использовать очень простой пример. Предположим, что у нас есть файл CSV. in value df 0 975 f01 5 1 976 F 4 2 977 d4 1 3 978 B6 0 4 979 2C 0 Я хочу выбрать конкретные столбцы. import pandas […]
Я хочу записать данные в файлы, где строка из CSV должна выглядеть как этот список (непосредственно из консоли Python): row = ['\xef\xbb\xbft_11651497', 'http://kozbeszerzes.ceu.hu/entity/t/11651497.xml', "Szabolcs Mag '98 Kft.", 'ny\xc3\xadregyh\xc3\xa1za', 'ny\xc3\xadregyh\xc3\xa1za', '4400', 't\xc3\xbcnde utca 20.', 47.935175, 21.744975, u'Ny\xedregyh\xe1za', u'Borb\xe1nya', u'Szabolcs-Szatm\xe1r-Bereg', u'Ny\xedregyh\xe1zai', u'20', u'T\xfcnde utca', u'Magyarorsz\xe1g', u'4405'] Py2k не делает Unicode, но у меня была оболочка UnicodeWriter: import […]
У меня есть файл JSON Latitude / Longitude, который я хочу скрывать в CSV-файле. Я хочу сделать это с помощью Python. Я прочитал / попробовал все другие предложения stackoverflow и google results results. Мне удалось получить до CSV-версии, включая заголовки, но помимо этого, запутанные вещи начинают происходить. Вот часть моего кода: import json, csv x="""[ […]
Я пытаюсь читать файл Excel с помощью xlrd, и мне интересно, есть ли способ игнорировать форматирование ячейки, используемую в файле Excel, и просто импортировать все данные в виде текста? Вот код, который я использую далеко: import xlrd xls_file = 'xltest.xls' xls_workbook = xlrd.open_workbook(xls_file) xls_sheet = xls_workbook.sheet_by_index(0) raw_data = [['']*xls_sheet.ncols for _ in range(xls_sheet.nrows)] raw_str = […]
У меня есть список кортежей, упорядоченных по значению. Они находятся в форме (name,count) где count – количество вхождений для каждого уникального имени. Я хотел бы взять этот список и преобразовать его в CSV, где каждое имя является заголовком столбца, а каждое значение – значением столбца одной строки. Любые предложения, как это сделать? Благодарю.
Я, вероятно, буду чувствовать себя очень глупым, когда кто-то видит то, что я делаю неправильно здесь, но я не могу победить то, что похоже, это должна быть простая ошибка. Я пишу некоторые данные в CSV с Python. Одна из вещей, которую я хочу написать, – это list целых чисел. Я join к списку в строку […]
У меня есть файл csv 8gb, и я не могу запустить код, так как он показывает ошибку памяти. file = "./data.csv" df = pd.read_csv(file, sep="/", header=0, dtype=str) Я хотел бы разделить файлы на 8 небольших файлов («отсортировано по id») с помощью python. И fianlly, иметь петлю, чтобы выходной файл имел выход из всех 8 файлов. […]