Не удалось получить доступ к request.response.meta из скрипта Scrapy

Я не могу получить доступ к request.response.meta['redirect_urls'] из моего сценария Scrapy, но у меня нет проблем с доступом к этой информации для одной и той же веб-страницы в оболочке Scrapy. Когда я печатаю ключи request.response.meta я вижу только download_timeout, depth, download_latency, download_slot

Я задаюсь вопросом, связано ли это с одним из параметров, которые я изменил в моем сценарии Scrapy, который содержит следующее:

 settings.set('DEPTH_LIMIT', 4) settings.set('DOWNLOAD_DELAY', 1) settings.set('USER_AGENT', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko)') settings.set('SPLASH_URL', 'http://192.168.59.103:8050') settings.set('DOWNLOADER_MIDDLEWARES', {'scrapyjs.SplashMiddleware': 725}) settings.set('DUPEFILTER_CLASS', 'scrapyjs.SplashAwareDupeFilter') settings.set('HTTPCACHE_STORAGE', 'scrapyjs.SplashAwareFSCacheStorage') 

Я знаю, что перенаправление также обрабатывается middlewares, так что это проблема, потому что я использую SplashMiddleware и можно ли использовать оба? Я знаю, что перенаправление происходит от просмотра response.url

Большое спасибо

Python - лучший язык программирования в мире.