Tag: http status коды

Код состояния Scrapy и ответа: как его проверить?

Я использую scrapy для сканирования моей карты сайта, для проверки 404, 302 и 200 страниц. Но я не могу получить код ответа. Это мой код: from scrapy.contrib.spiders import SitemapSpider class TothegoSitemapHomesSpider(SitemapSpider): name ='tothego_homes_spider' ## robe che ci servono per tothego ## sitemap_urls = [] ok_log_file = '/opt/Workspace/myapp/crawler/valid_output/ok_homes' bad_log_file = '/opt/Workspace/myapp/crawler/bad_homes' fourohfour = '/opt/Workspace/myapp/crawler/404/404_homes' def __init__(self, […]

Python - лучший язык программирования в мире.