Tag: очереди

Python 3 multiprocessing.Process внутри класса?

У меня есть сложный класс A, который вычисляет данные (вычисления большой матрицы) при потреблении входных данных из класса B. Сам по себе использует несколько ядер. Однако, когда A нуждается в следующем фрагменте данных, он ждет довольно долгое время, так как B работает в одном и том же основном потоке. Поскольку A в основном использует GPU […]

прерванный системный вызов с очередью обработки

Мы неожиданно начали видеть «Прерванный системный вызов» в операциях Queue следующим образом: Exception in thread Thread-2: Traceback (most recent call last): [ . . . ] result = self.pager.results.get(True, self.WAIT_SECONDS) File "/usr/lib/python2.5/site-packages/processing-0.52-py2.5-linux-x86_64.egg/processing/queue.py", line 128, in get if not self._poll(block and (deadline-time.time()) or 0.0): IOError: [Errno 4] Interrupted system call Это машина Fedora 10 / Python […]

Многопроцессорность в python заблокирована

Я использую многопроцессорность в своем проекте. У меня есть рабочая функция, которая помещает в очередь результаты. Все работает нормально. Но по мере увеличения размера x (в моем случае x – массив) что-то пошло не так. Вот упрощенная версия моего кода: def do_work(queue, x): result = heavy_computation_function(x) queue.put(result) # PROBLEM HERE def parallel_something(): queue = Queue() […]

Понимание os.fork и Queue.Queue

Я хотел реализовать простую программу python, используя параллельное выполнение. Это ограничение ввода-вывода, поэтому я решил, что потоки будут соответствовать (в отличие от процессов). После прочтения документации для Queue and fork, я думал, что что-то вроде следующего может работать. q = Queue.Queue() if os.fork(): # child while True: print q.get() else: # parent [q.put(x) for x […]

Как получить результаты из пула потоков в python?

Я искал здесь, как делать потоки в python, но на сегодняшний день я не смог получить ответ, который мне нужен. Я не очень хорошо знаком с классами python для очереди и Threading, и поэтому некоторые из присутствующих здесь не имеют никакого смысла для меня. Я хочу создать пул потоков, которые я могу дать другой задачей, […]

Queue vs JoinableQueue в Python

В Python при использовании многопроцессорного модуля есть 2 вида очередей: Очередь JoinableQueue. В чем разница между ними? Очередь from multiprocessing import Queue q = Queue() q.put(item) # Put an item on the queue item = q.get() # Get an item from the queue JoinableQueue from multiprocessing import JoinableQueue q = JoinableQueue() q.task_done() # Signal task […]

Как оптимизировать многопроцессорность в Python

EDIT: У меня возникли вопросы о том, что такое видеопоток, поэтому я буду предлагать больше ясности. Поток представляет собой живой видеоролик из моей веб-камеры, доступ к которому осуществляется через OpenCV. Я получаю каждый кадр, когда камера читает его, и отправляю его в отдельный процесс для обработки. Процесс возвращает текст, основанный на вычислениях, выполненных на изображении. […]

Как работают очереди задач Google App Engine?

Я запутался в выполнении задачи с использованием очередей. Я прочитал документацию, и мне показалось, что я понял bucket_size и скорость, но когда я отправляю 20 задач в очередь, равную 5 / h, размер 5, все 20 задач выполняются один за другим как можно быстрее, заканчивая меньше, чем 1 минута. deferred.defer(spam.cookEggs, egg_keys, _queue="tortoise") – name: tortoise […]

Как конвертировать 'из очереди импорта очереди, пустым' из Python 2 в Python 3?

Я конвертирую исходный код, написанный на Python 2 в Python 3, и я наткнулся на это: from Queue import Queue, Empty Я изменил его на: from multiprocessing import Queue, Empty Но это дает мне исключение: ImportError: cannot import name 'Empty' Как это исправить?

Python mulitprocessing queue не удерживает всех занятых

У меня есть конвейер, который работает на одном ядре, который я пытаюсь запустить сотни раз параллельно по 32 ядрам экземпляра aws. Надежда состоит в том, что как только запуск будет завершен, начнется следующий. Я написал сценарий очередей, основанный на том, что я нашел в Интернете, и, похоже, работает, но эффективность движется, как будто некоторые рабочие […]

Python - лучший язык программирования в мире.