Tag: pandas

Pandas, проверьте, существует ли значение временной метки в повторно сэмплированном 30-минутном временном буфере datetimeindex

Я создал повторно сэмплированный кадр данных (DF1) в пандах с datetimeindex . У меня есть отдельный dataframe (DF2) с datetimeindex и столбцом time . Если экземпляр time из DF2 попадает в 30-минутные ячейки datetimeindex в DF1. Я хочу отметить каждый экземпляр time в DF2 с соответствующей speed из 30-минутного бункера в DF1. DF1 boat_id speed […]

Проблема с grouby на миллионы ключей на файл с чередованием в python pandas

У меня очень большой CSV-файл (десятки Gigas), содержащий веб-журналы со следующими столбцами: user_id , time_stamp , category_clicked . Я должен создать бомбардира, чтобы определить, какие категории пользователей любят и не любят. Обратите внимание, что у меня более 10 миллионов пользователей. Сначала я разрезал его в кусках и сохранил их в HDFStore именем input.h5 затем я […]

Python Pandas DataFrame считывает точный заданный диапазон в листе excel

У меня много разных таблиц (и других неструктурированных данных на листе excel). Мне нужно создать DataFrame вне диапазона «A3: D20» из «Sheet2» данных Excel-листа » все примеры, с которыми я сталкиваюсь до уровня детализации до уровня листа, но не как его выбрать из определенного диапазона import openpyxl import pandas as pd wb = openpyxl.load_workbook('data.xlsx') sheet […]

Строгое расположение участка в Пандах

Я создаю график в пандах, используя следующие команды (где x – существующий DataFrame): df = x.groupby(['pAlt']).describe()['win_stay'].unstack() df['se'] = df['std']/np.sqrt(df['count']) # calculate standard error df['mean'].plot(kind='bar',yerr=df.se,alpha=0.5,ax=ax,legend=False) Сюжет обычно выглядит правильно, за исключением положения баров: По какой-то причине они прикрываются правым краем сюжета, а не центрируются. Это, по-видимому, новая проблема, введенная в Pandas 0.14: если я понижаюсь до […]

Выделите точки matplotlib, которые переходят или находятся под порогом в цветах, исходя из суммы пересечения границ

У меня есть график, который выглядит так: И код, который я запускаю для получения этого графика (одна из последовательности из 8 графиков), приведен ниже: date_list = list(df_testing_set['date'].unique()) random_date_list = list(np.random.choice(date_list,8)) df_new = df_testing_set[df_testing_set['date'].isin(random_date_list)] for date1 in random_date_list: df_new = df_testing_set[df_testing_set['date'] == date1] title = date1 if df_new.iloc[0]['day'] in ['Saturday', 'Sunday']: df_shader = df_result_weekend.copy() title += […]

Доступ к предыдущему значению в том же столбце DataFrame

Вот мой код: a = pd.DataFrame([[1, 2], [3, 4], [5, 6], [7, 8], [9, 10]], columns=['A', 'B']) print(a) a['C'] = 1 # or np.nan or is there a way to avoid this? b = lambda i : i['A'] + i['B'] + i['C'] # actually what is needed if to access a previous element, like i['C'].shift() […]

Преобразование формата данных PANDAS с ежемесячного на ежедневный

У меня есть кадр данных с ежемесячными данными за 2014 год для серии из 317 биржевых котировок (317 тикеров x 12 месяцев = 3,804 строки в DF). Я хотел бы преобразовать его в ежедневный фрейм данных (317 тикеров x 365 дней = 115 705 строк). Таким образом, я считаю, что мне нужно повышать или переиндексаровать, […]

Python Pandas: как разбить отсортированный словарь в столбце кадра данных

У меня есть dataFrame, как это: id asn orgs 0 3320 {'Deutsche Telekom AG': 2288} 1 47886 {'Joyent': 16, 'Equinix (Netherlands) BV': 7} 2 47601 {'fusion services': 1024, 'GCE Global Maritime':16859} 3 33438 {'Highwinds Network Group': 893} Я хотел бы отсортировать столбец «orgs», который на самом деле является словарем, а затем извлечь из него пару […]

Pandas groupby самая низкая сумма

Я пытаюсь использовать groupby , nlargest и sum в Pandas вместе, но у меня проблемы с работой. State County Population Alabama a 100 Alabama b 50 Alabama c 40 Alabama d 5 Alabama e 1 … Wyoming a.51 180 Wyoming b.51 150 Wyoming c.51 56 Wyoming d.51 5 Я хочу использовать groupby для выбора по […]

Извлечь int из строки в Pandas?

Допустим, у меня есть dataframe df as AB 1 V2 3 W42 1 S03 2 T02 3 U71 Я хочу иметь новый столбец (либо на нем конец df либо заменить столбец B им, так как это не имеет значения), который извлекает только int из столбца B То есть я хочу, чтобы столбец C выглядел как […]

Python - лучший язык программирования в мире.