Tag: csv

Отделите конкретный столбец и добавьте их в виде столбцов в CSV (Python3, CSV)

У меня есть файл csv, который имеет несколько столбцов, которые я сначала разделил двоеточием (;). Тем не менее, ОДНА колонка ограничена трубой | и я хотел бы разграничить этот столбец и создать новые столбцы. Входные данные: Column 1 Column 2 Column 3 1 2 3|4|5 6 7 6|7|8 10 11 12|13|14 Желаемый результат: Column 1 […]

Изменять номера Pandas to_dict

Я играл с функцией, которая вводит данные CSV и использует функцию pandas to_dict как один из шагов, направленных на достижение конечной цели преобразования данных в JSON. Проблема в том, что он изменяет числа (например, 1.6 становится 1.6000000000000001). Я не беспокоюсь о потере точности, но поскольку пользователи будут видеть изменения в номерах, это выглядит … любительским. […]

Получение правильной кодировки для строк и csv-файлов в Python

Я использую механизацию в Python, чтобы захватить некоторые данные с веб-сайта и отправить новые данные. Дело в том, что сайт на французском языке, поэтому я получаю вопросительные знаки в форме бриллианта ( ) вместо разных персонажей, таких как éÉààùîî и другие. Я попытался оглянуться на Google и StackOverflow и нашел различные ответы, которые не помогли […]

Питоновский способ чтения CSV с заголовками строк и столбцов

Давайте иметь таблицу CSV с заголовками строк и столбцов, например: , "Car", "Bike", "Boat", "Plane", "Shuttle" "Red", 1, 7, 3, 0, 0 "Green", 5, 0, 0, 0, 0 "Blue", 1, 1, 4, 0, 1 Я хочу получить заголовки строк и столбцов, то есть: col_headers = ["Car", "Bike", "Boat", "Plane", "Shuttle"] row_headers = ["Red", "Green", "Blue"] […]

Pandas – KeyError: ' не в индексе' при обучении модели Keras

Я пытаюсь подготовить модель Keras на основе частичных функций из моего набора данных. Я загрузил набор данных и извлек такие функции: train_data = pd.read_csv('../input/data.csv') X = train_data.iloc[:, 0:30] Y = train_data.iloc[:,30] # Code for selecting the important features automatically (removed) … # Selectintg important features 14,17,12,11,10,16,18,4,9,3 X = train_data.reindex(columns=['V14','V17','V12','V11','V10','V16','V18','V4','V9','V3']) print(X.shape[1]) # -> 10 Но когда […]

Прочитайте файл с разделяемой вкладкой с первым столбцом в качестве ключа, а остальные как значения

У меня есть файл с разделителями вкладок с 1 миллиардом строк из них (предположим 200 столбцов вместо 3): abc -0.123 0.6524 0.325 foo -0.9808 0.874 -0.2341 bar 0.23123 -0.123124 -0.1232 Я хочу создать словарь, где строка в первом столбце – это ключ, а остальные – значения. Я делал это так, но это вычислительно дорого: import […]

Эффективный способ импорта большого количества файлов csv в PostgreSQL db

Я вижу множество примеров импорта CSV в db PostgreSQL, но мне нужен эффективный способ импортировать 500 000 CSV в один DBG PostgreSQL. Каждый CSV немного превышает 500 КБ (так что общая сумма составляет около 272 ГБ данных). CSV идентично отформатированы и нет дубликатов записей (данные были сгенерированы программно из исходного источника данных). Я искал и […]

Почему порядок столбцов изменяется при добавлении фреймов данных pandas?

Я хочу добавить (слить) все файлы csv в папку с помощью Pandon pandas. Например: папка Say имеет два файла csv test1.csv и test2.csv следующим образом: A_Id P_Id CN1 CN2 CN3 AAA 111 702 709 740 BBB 222 1727 1734 1778 а также A_Id P_Id CN1 CN2 CN3 CCC 333 710 750 750 DDD 444 180 […]

Как перенести CSV-файл в Sqlite3 (или MySQL)? – Python

Я использую Python для сохранения данных подряд за строкой … но это очень медленно! CSV содержит 70 миллионов строк , и с моим сценарием я могу просто сохранить 1 тысячу секунд . Вот как выглядит мой сценарий reader = csv.reader(open('test_results.csv', 'r')) for row in reader: TestResult(type=row[0], name=row[1], result=row[2]).save() Я считаю, что для тестирования мне, возможно, […]

Разбирайте этот пользовательский захват с помощью Python и создайте статистику

Я пытаюсь собрать статистику twitter из определенного набора данных, который был предоставлен мне. Я не могу контролировать, как данные форматируются до того, как они будут переданы мне, поэтому я заблокирован для этого беспорядочного. Я хотел бы получить некоторые предложения о том, как я могу создать программу python для синтаксического анализа такого ввода и вывода чего-то […]

Python - лучший язык программирования в мире.