В Python я встретил странную вещь: >>> import multiprocessing >>> thread_pool = multiprocessing.dummy.Pool() Traceback (most recent call last): File "<stdin>", line 1, in <module> AttributeError: 'module' object has no attribute 'dummy' Однако, когда я пытаюсь сделать следующее: >>> from multiprocessing.dummy import Pool as ThreadPool >>> ThreadPool() <multiprocessing.pool.ThreadPool object at 0x7faf9308d4a8> а также >>> import multiprocessing.dummy […]
Я делаю эксперимент, в результате чего получается высокое размерное структурирование. Я использую multiindex для представления объекта результата и использования многопроцессорности для вычисления и заполнения. Результирующий набор довольно велик, что может быть легко до миллиона до миллиардов записей. Если результатом является 3d, я могу позволить функции, которая выполняет вычисление, возвратить df, а затем объединить их в […]
Я просмотрел документацию https://docs.python.org/2/library/multiprocessing.html#managers, и я не совсем понимаю, что означает «Блокирует до тех пор, пока результат не будет готов». Означает ли это это: Для pool.map(worker_num = 5) эти 5 работников будут работать один за другим, и результат будет заблокирован, пока он не будет готов? Для pool_job_1 = pool.map(4);pool_job_2 = pool.map(4). pool_job_2 только после завершения […]
У меня есть функция, возвращаемая theano.function (), и я хочу использовать ее для многопроцессорной обработки для ускорения. Ниже приведен упрощенный демонстрационный скрипт, чтобы показать, где я столкнулся с проблемой: import numpy as np from multiprocessing import Pool from functools import partial import theano from theano import tensor def get_theano_func(): x = tensor.dscalar() y = x […]
Я пытаюсь выполнить многопоточность почтовых запросов на api json, хорошо подходит для некоторых потоков, но вскоре получает ошибку от одного из потоков, ValueError: объект JSON не может быть декодирован Мой код: import threading import requests import json import random exitFlag = 0 class myThread (threading.Thread): def __init__(self, threadID, name, key): threading.Thread.__init__(self) self.threadID = threadID self.name […]
Поэтому я работаю над итерационным углубляющим алгоритмом поиска по алгоритму многопроцессорности, и он работает в настоящее время. К сожалению, иногда программа останавливается где-то за исключением блока. Когда он заглохнет, будет 7 детей-зомби (я запускаю 8-ядерную машину, чтобы создать 7 процессов). Это довольно редко случается, но это произойдет через пару раз на тысячу ходов, когда моя […]
Я пытаюсь использовать многопроцессорную обработку пафоса для простой функции, для которой я передаю массив, он разбивается на параллельные процессы и затем соединяется в конце. Вот код, который я перенес с использованием функции многопроцессорности, а затем вместо импорта многопроцессорности импортировал пафос. import sys import gender_guesser.detector as gender import time from pathos import multiprocessing as multiprocessing d […]
почему моя функция печати (в многопроцессе python) ничего не печатает? from multiprocessing import Process, Queue import os, time, random def write(q): print('Process to write: %s' % os.getpid()) for value in ['A', 'B', 'C']: print('Put %s to queue…' % value) q.put(value) time.sleep(random.random()) def read(q): print('Process to read: %s' % os.getpid()) while True: value = q.get(True) print('Get […]
Я работаю над небольшим проектом, включающим камеру Малины. Я использую многопроцессорную обработку на ПК для выполнения различных задач, и один из них отображает изображения в окне Pygame. У меня есть менеджер, чтобы свести к минимуму код, страдающий этой проблемой. Это основная функция, которая просто создает Game процесс, запускает его и ждет его завершения: # main.py […]
Я попытался запустить следующий многопроцессорный код: import multiprocessing class test(multiprocessing.Process): def __init__(self, name): multiprocessing.Process.__init__(self) self.name = name self.finished = False def run(self): print("executed") self.finished = True test_list = [] test_list.append(test('first')) test_list.append(test('second')) for t in test_list: t.start() for t in test_list: t.join() for t in test_list: print(t.finished) и получить результаты: executed executed False False Выходы False […]