Не удалось получить доступ к request.response.meta из скрипта Scrapy

Я не могу получить доступ к request.response.meta['redirect_urls'] из моего сценария Scrapy, но у меня нет проблем с доступом к этой информации для одной и той же веб-страницы в оболочке Scrapy. Когда я печатаю ключи request.response.meta я вижу только download_timeout, depth, download_latency, download_slot

Я задаюсь вопросом, связано ли это с одним из параметров, которые я изменил в моем сценарии Scrapy, который содержит следующее:

 settings.set('DEPTH_LIMIT', 4) settings.set('DOWNLOAD_DELAY', 1) settings.set('USER_AGENT', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko)') settings.set('SPLASH_URL', 'http://192.168.59.103:8050') settings.set('DOWNLOADER_MIDDLEWARES', {'scrapyjs.SplashMiddleware': 725}) settings.set('DUPEFILTER_CLASS', 'scrapyjs.SplashAwareDupeFilter') settings.set('HTTPCACHE_STORAGE', 'scrapyjs.SplashAwareFSCacheStorage') 

Я знаю, что перенаправление также обрабатывается middlewares, так что это проблема, потому что я использую SplashMiddleware и можно ли использовать оба? Я знаю, что перенаправление происходит от просмотра response.url

Большое спасибо

  • Как использовать модуль Python Scrapy для отображения всех URL-адресов с моего сайта?
  • Scrapy - доступ к данным при обходе и случайном изменении пользовательского агента
  • Scrapy :: Проблемы с экспортом JSON
  • Возможно ли, что Scrapy для получения простого текста из необработанных html-данных непосредственно вместо использования селекторов xPath?
  • Запрос Scrapy не переходит к обратному вызову, когда 301?
  • Scrapy не сканирует последующие страницы в порядке
  • Scrapy Vs Nutch
  • scrapy spider не возвращает никаких результатов
  • Локально запустите всех пауков в Scrapy
  • Как я могу использовать разные конвейеры для разных пауков в одном проекте Scrapy
  • Ошибка поиска DNS: адрес 'your.proxy.com' не найден: Нет адреса, связанного с именем хоста
  • Python - лучший язык программирования в мире.