Как взять произвольный файл csv и создать новую таблицу с указанными столбцами в ней с помощью python? Предположим, у меня много разных файлов csv с разными именами столбцов, и я хочу создать таблицу для каждого отдельного файла с помощью python.
Вкратце моя проблема заключается в том, что мой скрипт не может писать полные строки unicode (извлеченные из db) в csv, вместо этого в файл записывается только первый символ каждой строки. например: U,1423.0,831,1,139 Где выход должен быть: University of Washington Students,1423.0,831,1,139 Некоторые предпосылки: я подключаюсь к базе данных MSSQL, используя pyodbc. У меня есть файл конфигурации […]
Я работаю над исследовательским проектом, который требует от меня обработки больших файлов csv (~ 2-5 ГБ) с 500 000 записей. Эти файлы содержат информацию о государственных контрактах (из USASpending.gov ). До сих пор я использовал скрипты PHP или Python для атаки файлов по строкам, их анализа, а затем вставлял информацию в соответствующие таблицы. Разбор умеренно […]
Вот моя ситуация: мне нужно зайти на сайт и загрузить там CSV, без головы с сервера Linux. Страница использует JS и не работает без нее. После некоторых исследований я пошел с Selenium и PhantomJS. Вход в систему, установка параметров для CSV и поиск кнопки загрузки с Selenium / PhantomJS / Py3 не были проблемой, на […]
Я хотел бы сохранить список python в .csv файле, например, у меня есть список: ['hello','how','are','you'] Я хотел бы сохранить его следующим образом: colummn, hello, how, are, you, Я попробовал следующее: myfile = open('/Users/user/Projects/list.csv', 'wb') wr = csv.writer(myfile, quoting=csv.QUOTE_ALL,'\n') wr.writerow(pos_score)
Я использую модуль csv python для извлечения данных из csv, который постоянно обновляется внешним инструментом. Я столкнулся с проблемой, когда, когда я добираюсь до конца файла, я получаю ошибку StopIteration, однако я бы хотел, чтобы скрипт продолжал цикл, ожидая добавления дополнительных строк внешним инструментом. То, к чему я придумал, – это: f = open('file.csv') csvReader […]
У меня есть код, который работает хорошо, но я не умею обрезать и хранить данные в файле данных: import nltk tweets = [ (['love', 'this', 'car']), (['this', 'view', 'amazing']), (['not', 'looking', 'forward', 'the', 'concert']) ] def get_words_in_tweets(tweets): all_words = [] for (words) in tweets: all_words.extend(words) return all_words def get_word_features(wordlist): wordlist = nltk.FreqDist(wordlist) word_features = wordlist.keys() […]
Чтение данных (всего 20000 номеров) из файла xlsx выполняется навсегда: import pandas as pd xlsxfile = pd.ExcelFile("myfile.xlsx") data = xlsxfile.parse('Sheet1', index_col = None, header = None) занимает около 9 секунд. Если я сохраню тот же файл в формате csv, он займет ~ 25 мс: import pandas as pd csvfile = "myfile.csv" data = pd.read_csv(csvfile, index_col […]
Я пытаюсь преобразовать CSV-файл, содержащий строки Unicode, в файл YAML с использованием Python 3.4. В настоящее время синтаксический анализатор YAML избегает моего текста в кодировке Unicode в строку ASCII. Я хочу, чтобы анализатор YAML экспортировал строку Unicode в виде строки Unicode без символов escape. Конечно, я что-то недопонимаю, и я был бы признателен за любую […]
Я пытаюсь извлечь кучу строк из файла CSV и записать их в другой, но у меня возникают некоторые проблемы. import csv f = open("my_csv_file.csv", "r") r = csv.DictReader(f, delimiter=',') fieldnames = r.fieldnames target = open("united.csv", 'w') w = csv.DictWriter(united, fieldnames=fieldnames) while True: try: row = r.next() if r.line_num <= 2: #first two rows don't matter […]