Tag: pandas

pandas: установка последних N строк мультииндекса на Nan для ускорения группировки со сдвигом

Я пытаюсь ускорить свой групповой переход. + Смену и благодаря этому предыдущему вопросу и ответу: Как ускорить переход многоуровневой передачи данных Pandas по группе? Я могу доказать, что он действительно ускоряет работу, когда у вас много групп. Из этого вопроса у меня теперь есть следующий код, чтобы установить первую запись в каждом мультииндексе на Nan. […]

матричная операция с использованием numpy pandas

Я пытаюсь проверить тот же пример, приведенный в операции поиска матрицы, используя numpy и pandas на 3.5.0-17-generic #28-Ubuntu SMP Tue Oct 9 19:32:08 UTC 2012 i686 i686 i686 GNU/Linux с python 2.7.3, numpy 1.9.2 and pandas 0.15.2 Для этого небольшого примера: ds1 = [[ 4, 13, 6, 9], [ 7, 12, 5, 7], [ 7, […]

skip_blank_lines не работает с Pandas

При использовании pandas read_table (версия 0.13.1), я получаю следующую ошибку data = pd.read_table(filename, header=0, sep=r'\s+', skip_blank_lines=True) parser_f () получил неожиданный аргумент ключевого слова 'skip_blank_lines'

Группировка и фильтрация данных

Dataframe: Protein Peptide Mean intensity A1 AAB 4,54 A1 ABB 5,56 A1 ABB 4,67 A1 AAB 5,67 A1 ABC 5,67 A2 ABB 4,64 A2 AAB 4,54 A2 ABB 5,56 A2 ABC 4,67 A2 ABC 5,67 Но мне нужно найти для каждого белка 2 (наиболее часто встречающиеся) пептиды, поэтому выход будет для A1: Protein Peptide Mean […]

Преобразование столбцов pandas в список PostgreSQL?

Я работаю с CSV из нескольких сотен столбцов, многие из них – просто перечисления, то есть: [ ['code_1', 'code_2', 'code_3', …, 'code_50'], [1, 2, 3, …, 50], [2, 3, 4, …, 51], … [400000, 400001, 400002, …, 400049] ] Я импортирую эти данные в PostgreSQL и хотел бы объединить эти столбцы в массив, такой как: […]

улучшить отображаемые lambdas в Python (панды)

Я перевариваю несколько файлов csv (каждый с одним или несколькими годами данных), чтобы классифицировать медицинские процедуры в широкие категории, а также хранить только подмножество исходной информации и даже суммировать до ежемесячного числа (по AR = год и месяц ) лечения на одного человека (LopNr). Многие обращения относятся к разным категориям одновременно (несколько кодов диагностики указаны […]

Фильтр фрейма данных Pandas по значениям списка – наиболее эффективный

У меня есть следующий кадр данных pandas, который я создал: dark Mystery adult crime action comedy cartoon winter snow skiing 0001 0.00 0.000 0.000 0.00 0.00 0.000 0.00 0.56 0.65 0.789 0004 0.89 0.678 -0.423 0.12 0.00 0.000 0.00 0.00 0.00 0.000 0005 0.00 0.000 0.000 0.00 0.12 0.678 -0.89 0.00 0.00 0.000 У меня […]

Данные и скорость передачи данных Pandas

У меня есть объект dataframe pandas, который я предварительно выделил 400 000 записей. 2 столбца – временная метка типа datetime.datetime и число с плавающей точкой. Когда я пытаюсь вставить (переписать) строку в таблице, она кажется довольно медленной, в зависимости от размера таблицы я получаю что-то вроде 0.044 секунд. Я создал индекс integer, и я использую […]

Преобразование результатов запроса в DataFrame в python

Я пытаюсь выполнить манипуляции с результатом из запроса с помощью psycog2. Таким образом, я должен скрытый результат в pandas DataFrame. Но когда я использую следующий код и печатаю, только имена столбцов печатаются не по строкам. Я также использовал 'pd.DataFrame.from_records', но это не сработало. import psycopg2 import pandas as pd import numpy as np conn_string = […]

Преобразование строки временной метки JSON в дату python в кадре данных pandas

У меня есть фрейм данных pandas, который я прочитал из JSON, один столбец даты – это странный формат временной метки, как следует "/ Дата (1405961743000 + 0100) /" , Как преобразовать весь столбец в дату python? Я смог вручную преобразовать эту дату в дату python, используя функцию datetime fromtimestamp на первые 10 цифр, то есть […]

Python - лучший язык программирования в мире.