Tag: pandas

Преобразование столбца временных меток в периоды в пандах

У меня есть столбец временных меток, которые нужно преобразовать в период («Месяц»). например 1985-12-31 00:00:00 to 1985-12 У Pandas есть функция .to_period, но она работает только для индекса timestamps, а не для столбца. Значит, у вас есть только индекс периода, но не столбцы периода? И это работает только в том случае, если временные метки являются […]

pandas dataframe удаляет столбцы по числу нан

У меня есть dataframe с некоторыми столбцами, содержащие nan. Я бы хотел удалить эти столбцы с определенным количеством нанов. Например, в следующем коде я хотел бы удалить любой столбец с 2 или более нано. В этом случае столбец «C» будет удален, и будут сохраняться только «A» и «B». Как я могу это реализовать? import pandas […]

Разделение кадра данных в относительно четные фрагменты по длине

Я должен создать функцию, которая разделяла бы предоставленный dataframe на куски необходимого размера. Например, если dataframe содержит 1111 строк, я хочу иметь возможность указать размер блока 400 строк и получить три меньших кадра данных с размерами 400, 400 и 311. Есть ли удобная функция для выполнения задания? Каким будет лучший способ хранить и перебирать фрагментированный […]

pandas: объединение (объединение) двух кадров данных на нескольких столбцах

Я пытаюсь объединить два кадра данных pandas, используя два столбца: new_df = pd.merge(A_df, B_df, how='left', left_on='[A_c1,c2]', right_on = '[B_c1,c2]') но получил следующую ошибку: pandas/index.pyx in pandas.index.IndexEngine.get_loc (pandas/index.c:4164)() pandas/index.pyx in pandas.index.IndexEngine.get_loc (pandas/index.c:4028)() pandas/src/hashtable_class_helper.pxi in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:13166)() pandas/src/hashtable_class_helper.pxi in pandas.hashtable.PyObjectHashTable.get_item (pandas/hashtable.c:13120)() KeyError: '[B_1, c2]' Любая идея, каким должен быть правильный способ сделать это? Благодаря!

Как фильтровать строки в кадре данных Pandas, проверяя, является ли значение индекса суб-уровня в списке?

У меня есть образец Pandas dataframe df с индексом multi_level: >>> df STK_Name ROIC mg_r STK_ID RPT_Date 002410 20111231 ??? 0.401 0.956 300204 20111231 ??? 0.375 0.881 300295 20111231 ???? 2.370 0.867 300288 20111231 ???? 1.195 0.861 600106 20111231 ???? 1.214 0.857 300113 20111231 ???? 0.837 0.852 и stk_list определяется как stk_list = ['600106','300204','300113'] Я […]

Редактировать ряды данных pandas row-by-row

pandas для python опрятен. Я пытаюсь заменить список словарей на pandas-dataframe. Тем не менее, мне интересно, есть ли способ изменить значения row-by-row в for-loop так же просто? Вот версия-не-панда: trialList = [ {'no':1, 'condition':2, 'response':''}, {'no':2, 'condition':1, 'response':''}, {'no':3, 'condition':1, 'response':''} ] # … and so on for trial in trialList: # Do something and […]

Поиск Pandas MultiIndex с массивами Numpy

Я работаю с pandas DataFrame, представляющим график. Фрейм данных индексируется с помощью MultiIndex, который указывает конечные точки узла. Настроить: import pandas as pd import numpy as np import itertools as it edges = list(it.combinations([1, 2, 3, 4], 2)) # Define a dataframe to represent a graph index = pd.MultiIndex.from_tuples(edges, names=['u', 'v']) df = pd.DataFrame.from_dict({ 'edge_id': […]

Преобразование выбранных столбцов в кадре данных Pandas в массив Numpy

Я хотел бы преобразовать все, кроме первого столбца в dataframe pandas, в массив numpy. По какой-то причине использование параметра columns= параметра DataFrame.to_matrix() не работает. ДФ: viz a1_count a1_mean a1_std 0 n 3 2 0.816497 1 n 0 NaN NaN 2 n 2 51 50.000000 Я попробовал X=df.as_matrix(columns=[df[1:]]) но это дает массив всех NaN s

Как дискретировать значения в pandas DataFrame и преобразовывать в двоичную матрицу?

Я имею в виду что-то вроде этого: У меня есть DataFrame со столбцами, которые могут быть категориальными или номинальными. Для каждого наблюдения (строки) я хочу сгенерировать новую строку, где каждое возможное значение для переменных теперь является его собственной двоичной переменной. Например, эта матрица (первая строка – это метки столбцов) 'a' 'b' 'c' one 0.2 0 […]

Каковы точные недостатки copy = False в DataFrame.merge ()?

Я немного запутался в copy аргумента в DataFrame.merge() после того, как сотрудник спросил меня об этом. В docstring DataFrame.merge() указано: copy : boolean, default True If False, do not copy data unnecessarily Документация pandas гласит: copy : всегда копируйте данные (по умолчанию True ) из переданных объектов DataFrame, даже если переиндексация не требуется. Во многих […]

Python - лучший язык программирования в мире.