Tag: pandas

Выход Pandas Dataframe для JSON

У меня есть Pandas Dataframe с DateTimeIndex и столбцами с почасовыми объектами, и я хотел бы преобразовать и вывести один столбец в файл JSON, состоящий из массива ежедневных массивов почасовых значений. Простой пример: Если у меня есть Dataframe: In [106]: rng = pd.date_range('1/1/2011 01:00:00', periods=12, freq='H') df = pd.DataFrame(randn(12, 1), index=rng, columns=['A']) In [107]: df […]

Python Pandas отбрасывает столбцы на основе максимального значения столбца

Я просто собираюсь с Pandas в качестве инструмента для перебора двухмерных массивов данных. Это супер подавляющее, даже после прочтения документов. Вы можете сделать так много, что я не могу понять, как это сделать, если это имеет смысл. Мой dataframe (упрощенный): Date Stock1 Stock2 Stock3 2014.10.10 74.75 NaN NaN 2014.9.9 NaN 100.95 NaN 2010.8.8 NaN NaN […]

R Решетка, как сюжеты с Python, Pandas и Matplotlib

У меня есть pandas dataframe из «факторов», поплавков и целых чисел. Я хотел бы сделать «R Lattice» похожими на графики, используя условные обозначения и группировку по категориальным переменным. Я широко использовал R и писал пользовательские функции панели, чтобы получить графики, отформатированные именно так, как я их хотел, но я борется с matplotlib, чтобы сделать те […]

Найти max, так как условие в pandas timeseries dataframe

Я пытаюсь найти max, поскольку условие было истинным в кадре данных pandas. Я искал похожие вопросы и читал документацию, но не смог найти эту проблему. Чтобы проиллюстрировать, я хочу функцию, которая вернет столбец maxsince ниже. In [84]: df Out[84]: ab maxsince 2007-04-27 11:00:00 1 True 1 2007-04-27 11:30:00 5 False 5 2007-04-27 12:00:00 3 False […]

Pandas преобразует объект String в нижний регистр и проверяет строку

У меня есть код ниже import pandas as pd private = pd.read_excel("file.xlsx","Pri") public = pd.read_excel("file.xlsx","Pub") private["ISH"] = private.HolidayName.str.lower().contains("holiday|recess") public["ISH"] = public.HolidayName.str.lower().contains("holiday|recess") Я получаю следующую ошибку: AttributeError: 'Series' object has no attribute 'contains' Стоит ли конвертировать столбец «HolidayName» в нижний регистр, а затем проверять регулярное выражение ("Holiday|Recess") с помощью .contains за один шаг? Любая помощь будет […]

Pytables / Pandas: объединение (чтение?) Mutliple хранилищ HDF5, разделенных рядами

В режиме «писать один раз, читать много», я часто разбираю большие текстовые файлы (20 ГБ-60 ГБ), сбрасываемые с Teradata, используя утилиту FastExport и загружая их в Pytables с помощью Pandas. Я использую многопроцессорную обработку для разбиения текстовых файлов и распространения их на разные процессы для записи разделов файлов .H5, основанных на подсчете строк по 5MM […]

Как проверить, существует ли строка с определенным значением столбца в pandas dataframe

Очень новичок в пандах. Есть ли способ проверить заданный фрейм данных pandas, если существует строка с определенным значением столбца. Скажем, у меня есть столбец «Имя», и мне нужно проверить какое-то имя, если оно существует. И как только я это сделаю, мне нужно будет сделать похожий запрос, но с кучей значений за раз. Я читал, что […]

dtype: integer, но loc возвращает float

У меня странный набор данных: year firms age survival 0 1977 564918 0 NaN 2 1978 503991 0 NaN 3 1978 413130 1 0.731310 5 1979 497805 0 NaN 6 1979 390352 1 0.774522 где я dtype из первых трех столбцов как целое число: >>> df.dtypes year int64 firms int64 age int64 survival float64 Но […]

Как конвертировать из pandas.DatetimeIndex в numpy.datetime64?

Как конвертировать из pandas.DatetimeIndex в numpy.datetime64 ? Я получил: >>> type(df.index.to_datetime()) Out[56]: pandas.tseries.index.DatetimeIndex Безопасно ли делать numpy.array(datetimeindex,dtype=numpy.datetime64) ?

Определение Pandas Column DataType

Иногда, когда данные импортируются в Pandas Dataframe, он всегда импортирует object типа. Это хорошо и хорошо для выполнения большинства операций, но я пытаюсь создать пользовательскую функцию экспорта, и мой вопрос таков: Есть ли способ заставить Pandas вывести типы данных входных данных? Если нет, есть ли способ после загрузки данных, чтобы каким-то образом определить типы данных? […]

Python - лучший язык программирования в мире.