Tag: pandas

сдвигая все столбцы в кадре данных до крайнего конца, заменяя все нан

Мне нужно перенести все отдельные столбцы в следующий фреймворк данных до крайнего конца. Есть ли функция переключения в shift для этого? df = pd.DataFrame([[11,22,33,44,55], [nan,44,55], [nan,33,44,55], [11,22]]).T вход 11 NaN NaN 11 22 44 33 22 33 55 44 NaN 44 NaN 55 NaN 55 NaN NaN NaN Вывод 11 NaN NaN NaN 22 NaN […]

Как написать python pandas.DataFrame в файл с помощью согласованных пространственных chacarcters?

Я хочу сохранить pandas.DataFrame в текстовый файл, который имеет столбцы, выровненные с использованием пробельных символов. Если это мой образец DataFrame: In [1]: import numpy as np In [2]: import pandas as pd In [3]: df = pd.DataFrame(np.linspace(0,1,9).reshape(3,3)) In [4]: df Out[4]: 0 1 2 0 0.000 0.125 0.250 1 0.375 0.500 0.625 2 0.750 0.875 […]

Панды: медленные при выборе из фрейма данных

У меня есть DataFrame, который создан из списка словарей, которые я получил из базы данных. Я пытаюсь использовать это как базу данных в памяти, которую я запрашиваю, используя следующую функцию: def filter_entities(df, name1, name2): key = ((df.name1 == name1) & (df.name2 == name2)) rows = df.loc[key] if len(rows) == 0: return None return rows.iloc[0] Делать […]

Определение пользовательской функции агрегации pandas с помощью Cython

У меня есть большой DataFrame в DataFrame с тремя столбцами: 'col1' – это строка, 'col2' и 'col3' – numpy.int64 . Мне нужно сделать groupby , а затем применить пользовательскую функцию агрегации, используя apply , следующим образом: pd = pandas.read_csv(…) groups = pd.groupby('col1').apply(my_custom_function) Каждая группа может рассматриваться как массив numpy с двумя целыми столбцами 'col2' и […]

Unsigned int для dataframe to_sql с использованием типов sqlalchemy

Я не могу назначить тип unsigned int при использовании .to_sql() для записи моего фрейма данных в базу данных MySQL. Я могу использовать другие типы int , но просто не могу получить unsigned . Небольшой репрезентативный пример того, что я делаю, выглядит так: import pandas as pd from sqlalchemy import create_engine import sqlalchemy.types as sql_types db_engine […]

Объединяет и подводит итог нескольким сериям значений в Pandas

Обычно я использую value_counts() чтобы получить количество вхождений значения. Тем не менее, я имею дело теперь с большими таблицами базы данных (не могу полностью загрузить его в ОЗУ) и запросить данные в долях 1 месяц. Есть ли способ сохранить результат value_counts() и объединить его с / добавить его к следующим результатам? Я хочу подсчитать количество […]

группа pandas суммой размера столбца

У меня есть несколько огромных файлов TSV, которые я пытаюсь обрабатывать с помощью pandas. Я хочу группировать «col3» и «col5». Я пробовал это: import pandas as pd df = pd.read_csv('filename.txt', sep = "\t") g1 = df.groupby(['col3', 'col5']).size() До сих пор он отлично работает и печатает вывод следующим образом: yes AB12 1 FG14 1 no nn18 […]

Написание двух объектов одновременно

Мне нужно одновременно вычислить два взаимозависимых значения. Проблема в том, что a и b зависят от предыдущего значения a и b . Поэтому нам нужно рассчитать их одновременно, обращаясь к последним вычисленным значениям цикла. До сих пор я так: x = df.x # just a list containing randomly 1 and 0 df['a']=100 # 100 is […]

Ошибка ключа при создании Stacked Bar Graph в Pandas

Я пытаюсь сделать планку с боке. Я продолжаю получать KeyError: '1' но не могу понять, почему. Моя таблица pivot_table выглядит так: pivot_table.head(3) Out[23]: Month 1 2 3 4 5 6 7 8 9 10 11 12 CompanyName Company1 11 3 2 3 5 7 3 6 8 3 5 8 Company2 3 1 2 18 […]

«Максимальная глубина рекурсии» при подклассе pandas.Index

Я получаю сообщение об ошибке при использовании подкласса pd.Index который содержит не примитивные значения. Я использую pandas 0.13.1 . Быстрая демонстрация: import pandas as pd class MyIndex(pd.Index): pass # MyIndex = pd.Index <– if not subclassing, no problem o1 = object(); o2 = object() # <– if using primitives, no problem j = MyIndex([ o1, […]

Python - лучший язык программирования в мире.