Urllib2 & BeautifulSoup: Хорошая пара, но слишком медленная – urllib3 и темы?

Подумайте, используя что-то вроде workerpool . Ссылаясь на пример Mass Downloader , в сочетании с urllib3 будет выглядеть примерно так:

 import workerpool import urllib3 URL_LIST = [] # Fill this from somewhere NUM_SOCKETS = 3 NUM_WORKERS = 5 # We want a few more workers than sockets so that they have extra # time to parse things and such. http = urllib3.PoolManager(maxsize=NUM_SOCKETS) workers = workerpool.WorkerPool(size=NUM_WORKERS) class MyJob(workerpool.Job): def __init__(self, url): self.url = url def run(self): r = http.request('GET', self.url) # ... do parsing stuff here for url in URL_LIST: workers.put(MyJob(url)) # Send shutdown jobs to all threads, and wait until all the jobs have been completed # (If you don't do this, the script might hang due to a rogue undead thread.) workers.shutdown() workers.wait() 

Вы можете отметить из примеров Mass Downloader, что есть несколько способов сделать это. Я выбрал этот конкретный пример только потому, что он менее волшебный, но любая из других стратегий также действительна.

Отказ от ответственности: я являюсь автором обоих, urllib3 и workerpool.

Я не думаю, что urllib или BeautifulSoup медленны. Я запускаю свой код на своей локальной машине с модифицированной версией (удалял материал excel). Для открытия соединения потребовалось около 100 мс, загрузить контент, проанализировать его и распечатать на консоли для страны.

10 мс – это общая сумма времени, проведенного BeautifulSoup для анализа содержимого, и печать на консоль для каждой страны. Это достаточно быстро.

Я также не верю, что использование Scrappy или Threading решит проблему. Потому что проблема в том, что она будет быстрой.

Добро пожаловать в мир HTTP. Иногда это будет медленным, иногда это будет очень быстро. Пара медленных причин подключения

• из-за того, что сервер обрабатывает ваш запрос (иногда возвращает 404)
• Разрешение DNS,
• HTTP-рукопожатие,
• стабильность вашего интернет-провайдера,
• ваша полоса пропускания,
• скорость потери пакетов

и т.д..

Не забывайте, что вы пытаетесь сделать 121 HTTP-запрос серверу, и вы не знаете, какие у них серверы. Они могут также запретить ваш IP-адрес из-за последовательных вызовов.

Взгляните на Requests lib. Прочтите их документацию. Если вы делаете это, чтобы больше узнать Python, не переходите непосредственно в Scrapy.

Эй, ребята,

Некоторые новости из этой проблемы! Я нашел этот скрипт, который может быть полезен! Я на самом деле тестирую его, и это многообещающе (6.03 для запуска сценария ниже).

Моя идея – найти способ смешать это с urllib3. В effet я делаю запрос на том же хосте много раз.

PoolManager будет заботиться о повторном использовании соединений для вас всякий раз, когда вы запрашиваете тот же хост. это должно охватывать большинство сценариев без значительной потери эффективности, но вы всегда можете опуститься до более низкого уровня компонента для более детального контроля. (сайт urrlib3 doc)

В любом случае, это кажется очень интересным, и если я пока не вижу, как смешивать эти две функциональные функции (urllib3 и сценарий с потоком ниже), я думаю, это выполнимо! 🙂

Большое вам спасибо за то, что нашли время, чтобы дать мне руку с этим, Он хорошо пахнет!

 import Queue import threading import urllib2 import time from bs4 import BeautifulSoup as BeautifulSoup hosts = ["http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=1", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=2", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=3", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=4", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=5", "http://www.bulats.org//agents/find-an-agent?field_continent_tid=All&field_country_tid=All&page=6"] queue = Queue.Queue() out_queue = Queue.Queue() class ThreadUrl(threading.Thread): """Threaded Url Grab""" def __init__(self, queue, out_queue): threading.Thread.__init__(self) self.queue = queue self.out_queue = out_queue def run(self): while True: #grabs host from queue host = self.queue.get() #grabs urls of hosts and then grabs chunk of webpage url = urllib2.urlopen(host) chunk = url.read() #place chunk into out queue self.out_queue.put(chunk) #signals to queue job is done self.queue.task_done() class DatamineThread(threading.Thread): """Threaded Url Grab""" def __init__(self, out_queue): threading.Thread.__init__(self) self.out_queue = out_queue def run(self): while True: #grabs host from queue chunk = self.out_queue.get() #parse the chunk soup = BeautifulSoup(chunk) #print soup.findAll(['table']) tableau = soup.find('table') rows = tableau.findAll('tr') for tr in rows: cols = tr.findAll('td') for td in cols: texte_bu = td.text texte_bu = texte_bu.encode('utf-8') print texte_bu #signals to queue job is done self.out_queue.task_done() start = time.time() def main(): #spawn a pool of threads, and pass them queue instance for i in range(5): t = ThreadUrl(queue, out_queue) t.setDaemon(True) t.start() #populate queue with data for host in hosts: queue.put(host) for i in range(5): dt = DatamineThread(out_queue) dt.setDaemon(True) dt.start() #wait on the queue until everything has been processed queue.join() out_queue.join() main() print "Elapsed Time: %s" % (time.time() - start)