Tag: многопроцессорный

multiprocessing.dummy, почему AttributeError: объект 'module' не имеет атрибута 'dummy'

В Python я встретил странную вещь: >>> import multiprocessing >>> thread_pool = multiprocessing.dummy.Pool() Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'dummy' Однако, когда я пытаюсь сделать следующее: >>> from multiprocessing.dummy import Pool as ThreadPool >>> ThreadPool() <multiprocessing.pool.ThreadPool object at 0x7faf9308d4a8> а также >>> import multiprocessing.dummy […]

Многопроцессорность без возвращаемых значений

Я делаю эксперимент, в результате чего получается высокое размерное структурирование. Я использую multiindex для представления объекта результата и использования многопроцессорности для вычисления и заполнения. Результирующий набор довольно велик, что может быть легко до миллиона до миллиардов записей. Если результатом является 3d, я могу позволить функции, которая выполняет вычисление, возвратить df, а затем объединить их в […]

Одновременно запускается многопроцессорное пул pool.map?

Я просмотрел документацию https://docs.python.org/2/library/multiprocessing.html#managers, и я не совсем понимаю, что означает «Блокирует до тех пор, пока результат не будет готов». Означает ли это это: Для pool.map(worker_num = 5) эти 5 работников будут работать один за другим, и результат будет заблокирован, пока он не будет готов? Для pool_job_1 = pool.map(4);pool_job_2 = pool.map(4). pool_job_2 только после завершения […]

Как параллельно функции Anano использовать многопроцессорность?

У меня есть функция, возвращаемая theano.function (), и я хочу использовать ее для многопроцессорной обработки для ускорения. Ниже приведен упрощенный демонстрационный скрипт, чтобы показать, где я столкнулся с проблемой: import numpy as np from multiprocessing import Pool from functools import partial import theano from theano import tensor def get_theano_func(): x = tensor.dscalar() y = x […]

Запросы на потоки Python json post

Я пытаюсь выполнить многопоточность почтовых запросов на api json, хорошо подходит для некоторых потоков, но вскоре получает ошибку от одного из потоков, ValueError: объект JSON не может быть декодирован Мой код: import threading import requests import json import random exitFlag = 0 class myThread (threading.Thread): def __init__(self, threadID, name, key): threading.Thread.__init__(self) self.threadID = threadID self.name […]

Python Multiprocessing Pool stalling / zombie children

Поэтому я работаю над итерационным углубляющим алгоритмом поиска по алгоритму многопроцессорности, и он работает в настоящее время. К сожалению, иногда программа останавливается где-то за исключением блока. Когда он заглохнет, будет 7 детей-зомби (я запускаю 8-ядерную машину, чтобы создать 7 процессов). Это довольно редко случается, но это произойдет через пару раз на тысячу ходов, когда моя […]

многопроцессорность python

Я пытаюсь использовать многопроцессорную обработку пафоса для простой функции, для которой я передаю массив, он разбивается на параллельные процессы и затем соединяется в конце. Вот код, который я перенес с использованием функции многопроцессорности, а затем вместо импорта многопроцессорности импортировал пафос. import sys import gender_guesser.detector as gender import time from pathos import multiprocessing as multiprocessing d […]

почему моя функция печати (при многопроцессорной обработке) ничего не печатает?

почему моя функция печати (в многопроцессе python) ничего не печатает? from multiprocessing import Process, Queue import os, time, random def write(q): print('Process to write: %s' % os.getpid()) for value in ['A', 'B', 'C']: print('Put %s to queue…' % value) q.put(value) time.sleep(random.random()) def read(q): print('Process to read: %s' % os.getpid()) while True: value = q.get(True) print('Get […]

Необычное поведение Pygame, смешанного с Multiprocessing

Я работаю над небольшим проектом, включающим камеру Малины. Я использую многопроцессорную обработку на ПК для выполнения различных задач, и один из них отображает изображения в окне Pygame. У меня есть менеджер, чтобы свести к минимуму код, страдающий этой проблемой. Это основная функция, которая просто создает Game процесс, запускает его и ждет его завершения: # main.py […]

Многопроцессорность не ведет к результатам

Я попытался запустить следующий многопроцессорный код: import multiprocessing class test(multiprocessing.Process): def __init__(self, name): multiprocessing.Process.__init__(self) self.name = name self.finished = False def run(self): print("executed") self.finished = True test_list = [] test_list.append(test('first')) test_list.append(test('second')) for t in test_list: t.start() for t in test_list: t.join() for t in test_list: print(t.finished) и получить результаты: executed executed False False Выходы False […]

Python - лучший язык программирования в мире.