Tag: pandas

Чистое итерационное / функциональное приложение на Pandas Dataframe независимо от длины

Я постоянно борюсь с чисто итерацией или применением функции к Pandas DataFrames переменной длины. В частности, фрагмент DataFrame длиной 1 (серия Pandas). Простой пример: DataFrame и функция, действующая на каждую его строку. Формат фрейма данных известен / ожидается. def stringify(row): return "-".join([row["y"], str(row["x"]), str(row["z"])]) df = pd.DataFrame(dict(x=[1,2,3],y=["foo","bar","bro"],z=[-99,1.04,213])) Out[600]: xyz 0 1 foo -99.00 1 2 […]

Pandas: сохранить данные для открытия рабочей книги

У меня есть открытая книга, на которую записаны данные. Как добавить листы для записи содержимого фрейма? import xlsxwriter import pandas as pd workbook = xlsxwriter.Workbook('test.xlsx') sheet1 = workbook.add_worksheet(name='sheet1') sheet1.write(0, 0, 'test') df = pd.DataFrame({'a': [1, 2, 3, 4], 'b': ['aa', 'bb', 'cc', 'dd']}) # write df somehow to next sheet. I usually use df.to_excel(filename, engine='xlsxwriter'), […]

pandas: корреляция Rolling с фиксированным патчем для соответствия шаблону

С новым годом. Я ищу способ вычисления корреляции поворотного окна и фиксированного окна («патч») с помощью панд. Конечная цель – выполнить сопоставление шаблонов. Из того, что я читал в документах, И НАДЕЖНО Я НЕ ПРОПУСТИТЬ, corr () или corrwith () не позволяют блокировать один из Series / DataFrames. В настоящее время самое лучшее дерьмовое решение, […]

UndefinedVariableError при запросе pandas DataFrame

Я DataFrame создать график, запросив значения в pandas DataFrame . В этой строке: data1 = [np.array(df.query('type == i')['continuous'] for i in ('Type1', 'Type2', 'Type3', 'Type4')] Я получаю сообщение об ошибке: UndefinedVariableError: name 'i' is not defined Что мне не хватает?

python pandas пытается уменьшить зависимость от циклов

Это общий вопрос, но я буду использовать пример, чтобы помочь задать вопрос. У меня есть dataframe ( df ) с df[col_1] = все true или false. В df[col_2] я хотел бы вернуть другое значение true или false, если предыдущие 5 строк столбца 1 ( df[col_1][i-6:i-1] ) содержат совпадение для df[col_1][i] . Это цикл, который я […]

Функция Pandas convert_to_r_dataframe KeyError

Я создаю pandas DataFrame: import pandas as pd df = pd.DataFrame(x.toarray(), columns = colnames) Затем я конвертирую его в рамку данных R: import pandas.rpy.common as com rdf = com.convert_to_r_dataframe(df) В Windows с этой конфигурацией проблем нет: >>> pd.show_versions() INSTALLED VERSIONS —————— commit: None python: 2.7.7.final.0 python-bits: 32 OS: Windows OS-release: 7 machine: AMD64 processor: AMD64 […]

pandas .to_sql тайм-аут с RDS

У меня есть 22-миллионный. CSV-файл (~ 850mb), который я пытаюсь загрузить в db postgres на Amazon RDS. Он терпит неудачу каждый раз (я получаю ошибку тайм-аута), даже когда я разбиваю файл на более мелкие части (каждый из 100 000 строк) и даже когда я использую chunksize . Все, что я делаю в данный момент, загружает […]

генерировать несколько кадров данных панд

Я извлекаю несколько кадров данных в формате csv с веб-сайта. Я сохраняю кадры данных в пустом списке, а затем читаю один за другим. Я не могу добавить их в один кадр данных, так как они имеют разные имена столбцов и порядки столбцов. Поэтому у меня есть следующие вопросы: Могу ли я создать кадр данных с […]

Обработка столбцов данных Pandas со смешанными форматами даты

Я импортировал CSV-файл, который имеет смешанные форматы данных – некоторые форматы даты, распознанные read_csv, плюс некоторый формат последовательного datetime Excel (например, 41,866.321). После импорта данных тип столбца отображается как объект (с учетом разных типов данных), а даты (оба типа форматов) имеют строку типа dtype. Я хотел бы использовать метод to_datetime для преобразования распознанных форматов дат […]

Эквивалент функции R 'ave' в Python Pandas

У меня есть dataframe в R. Пример: d1<-structure(list(A = c(1L, 1L, 1L, 2L, 2L, 2L, 2L, 3L, 3L), B = 1:9), .Names = c("A", "B"), class = "data.frame", row.names = c(NA, -9L)) Я хочу, чтобы d2<-structure(list(A = c(1L, 1L, 1L, 2L, 2L, 2L, 2L, 3L, 3L), B = 1:9, c = c(3L, 3L, 3L, 7L, […]

Interesting Posts for Van-Lav

Что такое lexsort_depth мультииндекса Dataframe?

Какая самая простая / легкая структура WSGI?

Самый маленький список, содержащий все элементы из двух списков, при сохранении порядка

Данные о разрезе Bokeh Widget

Python: Sphinx: Как автоматически включать все классы, методы и функции в документацию sphinx?

Должен ли я использовать Python для небольшого CRM? Если нет, то есть ли другая платформа?

Нельзя напечатать два значения (python3.5 + numba + CUDA8.0)

Быстрый выбор временного интервала в пандах DataFrame / Series

OpenCV и Python – Как накладывать изображения, задавая координаты?

Просьба пояснить следующие примеры инициализации и сращивания массива Python NumPy

Захват событий джойстика с помощью PySDL2

Numpy, почему `x + = y` производит другой результат, чем` x = x + y`?

Django не может отображать контекст, когда в оболочке

функция print в оболочке python

Преобразование столбца datetime в столбцы строк? Pandas – Python

Python - лучший язык программирования в мире.