Pandas msgpack против рассола
msgpack в Pandas заменит pickle .
В документах Pandas на msgpack :
- Как создать lazy_evaluated столбцы dataframe в Pandas
- Переформатирование скребкового селенового стола
- '/' в именах в файловой системе HDF5
- Как правильно пометить поврежденные datalines в dataframe после того, как ошибка возникла в Python
- Преобразование строки в пандах в список
Это легкий переносимый двоичный формат, похожий на двоичный JSON, который обладает высокой эффективностью в пространстве и обеспечивает хорошую производительность как при записи (сериализации), так и при чтении (десериализации).
Однако я считаю, что его производительность, похоже, не складывается против рассола.
df = pd.DataFrame(np.random.randn(10000, 100)) >>> %timeit df.to_pickle('test.p') 10 loops, best of 3: 22.4 ms per loop >>> %timeit df.to_msgpack('test.msg') 10 loops, best of 3: 36.4 ms per loop >>> %timeit pd.read_pickle('test.p') 100 loops, best of 3: 10.5 ms per loop >>> %timeit pd.read_msgpack('test.msg') 10 loops, best of 3: 24.6 ms per loop
Вопрос: Из-за потенциальных проблем безопасности с рассолом, каковы преимущества msgpack над рассолом? Является ли рассол еще предпочтительным методом сериализации данных или в настоящее время существуют лучшие альтернативы?
- Pandas DataFrame: удалить ненужные части из строк в столбце
- Добавить индексированный столбец в DataFrame с помощью pandas
- date_range не принимает переменную, которую я хочу использовать?
- Разбивка колонн группами в Пандах
- для цикла, использующего iterrows в пандах
- Как преобразовать столбец с dtype в качестве объекта в строку в Pandas Dataframe
- Как сравнить pandas DataFrame с None в Python?
- Pandas: условное количество проката
One Solution collect form web for “Pandas msgpack против рассола”
Рассол лучше для следующего:
- Числовые данные или все, что использует буферный протокол (массивы numpy) (хотя, только если вы используете несколько недавний
protocol=) - Специфичные для Python объекты, такие как классы, функции и т. Д. (Хотя здесь вы должны посмотреть на
cloudpickle)
MsgPack лучше для следующего:
- Межъязыковое взаимодействие. Это альтернатива JSON с некоторыми улучшениями
- Производительность по текстовым данным и объектам Python. Это достойный фактор быстрее, чем Pickle при этом при любых настройках.
Как отметил @Jeff выше, этот блогпост может представлять интерес http://matthewrocklin.com/blog/work/2015/03/16/Fast-Serialization/