Tag: shared memory

распределение памяти и доступ к аппаратным средствам NUMA

Я разрабатываю научный вычислительный инструмент в python, который должен быть способен распределять работу по нескольким ядрам в среде с общей памятью NUMA. Я рассматриваю наиболее эффективный способ сделать это. Потоки – выход из игры из-за блокировки глобального интерпретатора python, который оставляет вилку в качестве моего единственного варианта. Для взаимодействия между процессами я полагаю, что мои […]

Доля OpenCV C ++ объекта с Python

Сценарий: Программный процесс на C ++ захватывает изображение с помощью OpenCV. Другой процесс, использующий Python и OpenCV, имеет общую область памяти (с mmap) с первой программой. Проблема: Как создать в процессе Python ссылку на тот же образ, который уже существует в области общей памяти? Эта часть процесса Python может быть записана как модуль C и […]

Невозможно Inter-Lock между процессами при использовании модуля многопроцессорности в Python

Я немного новичок в Python. Я изучаю и изучаю модуль Multiprocessing, и я застрял в этой проблеме при использовании блокировки. Вот тестовый код: import multiprocessing from multiprocessing import Pool class Param_Class(): #Initialisation. def __init__(self): self.counter = multiprocessing.Value('i',0) self.lock = multiprocessing.Lock() def inc_counter(self): lk.acquire() print('Locked {}'.format(multiprocessing.current_process().name)) self.counter.value+=1 lk.release() print('Released {}'.format(multiprocessing.current_process().name)) param_class = Param_Class() def init(lock): global […]

Python Многопроцессорный обмен глобальными значениями

То, что я пытаюсь сделать, – использовать глобальную переменную каждым процессом. Но мой процесс не принимает глобальных ценностей import multiprocessing count = 0 def smile_detection(thread_name): global count for x in range(10): count +=1 print thread_name,count return count x = multiprocessing.Process(target=smile_detection, args=("Thread1",)) y = multiprocessing.Process(target=smile_detection, args=("Thread2",)) x.start() y.start() Я получаю вывод, как Thread1 1 Thread1 2 […]

Многопроцессорность Python делится внутри класса

Я хочу понять, как многопроцессор и менеджер работают для обмена памятью У меня есть класс со словарем, созданным на классе. init Я хочу использовать многопроцессорную обработку, чтобы вызвать функцию класса, которая заполняет словарь (каждый процесс добавляет другой ключ). import multiprocessing as mp from multiprocessing import Process, Manager class num: def __init__(self): manager = Manager() d […]

Могу ли я каким-то образом распределить асинхронную очередь с подпроцессом?

Я хотел бы использовать очередь для передачи данных от родителя к дочернему процессу, который запускается через multiprocessing.Process . Однако, поскольку родительский процесс использует новую asyncio библиотеку Python, методы очереди должны быть неблокируемыми. Насколько я понимаю, asyncio.Queue сделан для asyncio.Queue коммуникации и не может использоваться для межпроцессного общения. Кроме того, я знаю, что multiprocessing.Queue имеет put_nowait() […]

Возможно ли хранить объекты python (в частности, модели sklearn) в файлах с отображением памяти?

У меня есть несколько больших объектов (модели sklearn), которые занимают много памяти, и я хочу поделиться ими между несколькими процессами. Есть ли способ сделать это? Он должен быть «живым» объектом, а не сериализованной версией Я знаю, что есть версия памяти numpy, сопоставленная с памятью, которая отвечает за значительную часть памяти модели, но использование их потребует […]

Доля областей памяти между работниками сельдерея на одной машине

Я хочу поделиться небольшими фрагментами информации между моими рабочими узлами (например, кэшированные токены авторизации, статистика и т. Д.) В сельдерее. Если я создаю глобальный внутри моего файла задач, он уникален для каждого рабочего (мои работники являются процессами и имеют срок службы 1 задачи / выполнения). Какова наилучшая практика? Должен ли я сохранять состояние извне (БД), […]

Изменение различных объектов python в параллельных процессах, соответственно

В двух словах Я хочу изменить сложные объекты python одновременно, при этом каждый объект обрабатывается только одним процессом. Как я могу это сделать (наиболее эффективно)? Будет ли какая-то помощь в помощи по травлению? Будет ли это эффективно? Полная проблема У меня есть структура данных Python ArrayDict которая в основном состоит из массива numpy и словаря […]

pyspark У процесса python на узле исполнителя передаются широковещательные переменные в ram?

У меня есть узел с 24 ядрами и 124 ГБ оперативной памяти в моем искровом кластере. Когда я установил поле spark.executor.memory в 4g, а затем передал переменную, которая занимает 3.5gb для хранения в ram, будут ли ядра содержать 24 копии этой переменной? Или один экземпляр? Я использую pyspark – v1.6.2

Interesting Posts for Van-Lav

Я правильно организовал приложение django?

Bash, если еще что-то в одной строке с bash-версией sys.exit ()

Как правильно сделать HttpResponseRedirect с обратным?

Наилучшая практика наследования: * args, ** kwargs или явно задающие параметры

Как добавить столбец в многоиндексный DataFrame?

Передача функций self в класс в Python

Как указать порядок установки для питона python?

Поиск строки в большом текстовом файле – профилирование различных методов в python

Интерполировать неструктурированные данные X, Y, Z по наилучшей сетке на основе ближайшего соседнего расстояния для каждой точки

Как вы размещаете свой собственный хранилище яиц?

Не удается запустить консоль в недавно установленном Pycharm в Windows

Реверсирование блоков равного размера в списке

Найти все ключевые элементы по тем же значениям в диктах

Захват высокой многоколоничности в статистических моделях

Проверьте, есть ли какой-либо список строк в другой строке

Python - лучший язык программирования в мире.