Запросы дросселирования с несколькими прокси-серверами

В настоящее время я назначаю случайные прокси для запросов через специализированное промежуточное программное обеспечение. Я бы хотел, чтобы ключ загружал до определенного прокси-сервера, который использует этот запрос, но насколько я могу судить, это возможно только при привязке к доменам или IP-адресам. Я обеспокоен тем, что внедрение логики объединения в промежуточное ПО прокси-сервера вызовет проблемы безопасности потоков. Кто-нибудь делал это раньше? Любые указатели будут оценены.

One Solution collect form web for “Запросы дросселирования с несколькими прокси-серверами”

Как и рекомендовано в списке рассылки Scrapy , существует специальная мета-переменная запроса, которую выполняет ПО промежуточного программного обеспечения Autotrottle , называемое download_slot – это позволяет осуществлять программную группировку / регулирование запросов.

В моем промежуточном программном обеспечении прокси-сервера:

 self.proxies = get_proxies() #list of proxies proxy_address = random.choice(self.proxies) request.meta['proxy'] = proxy_address request.meta['download_slot'] = hash(proxy_address) % MAX_CONCURRENT_REQUESTS 

Я использую хеш-функцию как дешевый способ загружать запросы с помощью ограничения, определяемого извне, на запросы.

  • web.py: как получить параметр POST и параметр GET?
  • Как использовать скрипинг с подключением к Интернету через прокси с аутентификацией
  • Получить IP-адрес URL-адреса в python?
  • Скрученная ошибка Python - проблемы с скрипом
  • Как подражать Firefox «Сохранить файл» -> ОК в Python
  • Использование PyQt4 для возврата HTML-кода, сгенерированного Javascript
  • Может ли Scrapy заменить на pyspider?
  • Очистка многих страниц с помощью scrapy
  • Python - лучший язык программирования в мире.