Tag: shared memory

Возможно ли хранить объекты python (в частности, модели sklearn) в файлах с отображением памяти?

У меня есть несколько больших объектов (модели sklearn), которые занимают много памяти, и я хочу поделиться ими между несколькими процессами. Есть ли способ сделать это? Он должен быть «живым» объектом, а не сериализованной версией Я знаю, что есть версия памяти numpy, сопоставленная с памятью, которая отвечает за значительную часть памяти модели, но использование их потребует […]

Доля областей памяти между работниками сельдерея на одной машине

Я хочу поделиться небольшими фрагментами информации между моими рабочими узлами (например, кэшированные токены авторизации, статистика и т. Д.) В сельдерее. Если я создаю глобальный внутри моего файла задач, он уникален для каждого рабочего (мои работники являются процессами и имеют срок службы 1 задачи / выполнения). Какова наилучшая практика? Должен ли я сохранять состояние извне (БД), […]

Изменение различных объектов python в параллельных процессах, соответственно

В двух словах Я хочу изменить сложные объекты python одновременно, при этом каждый объект обрабатывается только одним процессом. Как я могу это сделать (наиболее эффективно)? Будет ли какая-то помощь в помощи по травлению? Будет ли это эффективно? Полная проблема У меня есть структура данных Python ArrayDict которая в основном состоит из массива numpy и словаря […]

pyspark У процесса python на узле исполнителя передаются широковещательные переменные в ram?

У меня есть узел с 24 ядрами и 124 ГБ оперативной памяти в моем искровом кластере. Когда я установил поле spark.executor.memory в 4g, а затем передал переменную, которая занимает 3.5gb для хранения в ram, будут ли ядра содержать 24 копии этой переменной? Или один экземпляр? Я использую pyspark – v1.6.2

Pikon fork (): передача данных от дочернего к родительскому

У меня есть основной процесс Python, а также группа или рабочие, созданные основным процессом, используя os.fork() . Мне нужно передать большие и довольно задействованные структуры данных от рабочих к основному процессу. Какие существующие библиотеки вы бы порекомендовали для этого? Структуры данных представляют собой сочетание списков, словарей, массивов numpy , пользовательских классов (которые я могу настроить) […]

Как легко хранить удобные для чтения на python структуры данных только для чтения в общей памяти

У меня есть процесс python, служащий сервером WSGI-apache. У меня много копий этого процесса, запущенного на каждой из нескольких машин. Около 200 мегабайт моего процесса – это данные python, доступные только для чтения. Я хотел бы разместить эти данные в сегменте с отображением памяти, чтобы процессы могли совместно использовать одну копию этих данных. Лучше всего […]

Общая память между процессами python

Я пытаюсь выяснить способ обмена памятью между процессами python. В основном существуют объекты, которые существуют, что несколько процессов python должны иметь возможность читать (читать только) и использовать (без мутации). Прямо сейчас это реализовано с использованием redis + strings + cPickle, но cPickle занимает драгоценное время процессора, поэтому я не хочу этого использовать. Большинство реализаций разделяемой […]

Создайте новую obj с функцией deepcopy, но с новой переменной share obj со старым obj

Я имею дело с некоторыми классами, использующими модуль pygraph, и когда я использую метод add_node (), он всегда выдает «узел xxx уже в графе». Поэтому я пытаюсь использовать deepcopy () для создания нового экземпляра и иметь некоторые проблемы с ним: class test: _storage = [] def add_item(self,item): self._storage.append(item) def pop_item(self,item): return self._storage.pop() def __repr__(self): return […]

Доля SciPy разреженного массива между объектами процесса

Недавно я изучал многопроцессорность Python и столкнулся с контрольно-пропускным пунктом. У меня есть редкий массив SciPy (CSC-формат), который мне нужно разделить в формате только для чтения между 5 рабочими процессами. Я прочитал это и это (numpy-shared), но это похоже только на плотные типы. Как я могу поделиться scipy.sparse.csc_matrix () без копирования (или с минимальным копированием) […]

Могут ли процессы python обмениваться живыми объектами?

У меня есть многопроцессное приложение python (процессы порождаются uwsgi), которые должны хранить переменные в ОЗУ, а затем читать и обновлять эти переменные из нескольких разных процессов. Я знаю, что есть много возможностей кэширования, но все, что я нашел, могут хранить только строки. Возможно ли, что разные процессы python получают доступ к одной и той же […]

Python - лучший язык программирования в мире.