Запросы дросселирования с несколькими прокси-серверами

В настоящее время я назначаю случайные прокси для запросов через специализированное промежуточное программное обеспечение. Я бы хотел, чтобы ключ загружал до определенного прокси-сервера, который использует этот запрос, но насколько я могу судить, это возможно только при привязке к доменам или IP-адресам. Я обеспокоен тем, что внедрение логики объединения в промежуточное ПО прокси-сервера вызовет проблемы безопасности потоков. Кто-нибудь делал это раньше? Любые указатели будут оценены.

One Solution collect form web for “Запросы дросселирования с несколькими прокси-серверами”

Как и рекомендовано в списке рассылки Scrapy , существует специальная мета-переменная запроса, которую выполняет ПО промежуточного программного обеспечения Autotrottle , называемое download_slot – это позволяет осуществлять программную группировку / регулирование запросов.

В моем промежуточном программном обеспечении прокси-сервера:

 self.proxies = get_proxies() #list of proxies proxy_address = random.choice(self.proxies) request.meta['proxy'] = proxy_address request.meta['download_slot'] = hash(proxy_address) % MAX_CONCURRENT_REQUESTS 

Я использую хеш-функцию как дешевый способ загружать запросы с помощью ограничения, определяемого извне, на запросы.

  • Регистрация журнала ошибок в журнале ошибок
  • Python Flask + nginx fcgi - выводит большой ответ?
  • Django ModelForm с виджетами администратора
  • Автоматизация загрузки изображений с Google
  • Как скопировать код купона на купон (код купона нажимается на кнопку)
  • PyQt: QImage () возвращает 'Null'-Image
  • Очистите веб-страницу, которая требует, чтобы они сначала открывали сессионный файл cookie
  • Django: CSS Не работает
  • Python Scrapy не запускает тайм-аут соединения
  • Скремблирование с сайта с помощью python с помощью ссылки на _doPostBack url
  • Нажмите кнопку в Scrapy
  •  
    Interesting Posts for Van-Lav

    IOError при попытке открыть существующие файлы

    В Python, как мне преобразовать все элементы в список в float?

    Является ли Python 3.3 лучше, чем 2,7 для декодирования и повторного кодирования Скребковый веб-текст для UTF-8? Как, намного лучше?

    django создает строку в таблице userprofile при создании пользователя

    Версия Matplotlib

    Извлечение текстовых блоков из файла

    с помощью SDK Google App Engine в pycharm

    Python: импортировать скрипт в режиме ожидания

    как создать новый независимый процесс в python

    Python: база данных объектов в памяти, которая поддерживает индексирование?

    Python перебирает список и объединяет строки без специального символа в предыдущем элементе

    управляющие оси в matplotlib динамически

    как получить доступ к сообщению об ошибке из команды abort при использовании настраиваемого обработчика ошибок

    Имеет ли Django исключение для немедленного ответа HTTP?

    Математика с плавающей запятой в python / numpy не воспроизводится на разных машинах

    Python - лучший язык программирования в мире.