Как запустить scrapy с файлом py

Привет, я работаю над scrapy, я создал папку scrapy с scrapy startproject example и написанным пауком, чтобы очистить все данные от url, и я запустил паука, используя команду scrapy crawl spider_name , ее работоспособность и возможность получать данные.

Но у меня было требование, что мне нужно запустить скрипинг с одним созданным файлом-пауком. Я имею в виду один файл с файлом

 python -u /path/to/spider_file_inside_scrapy_folder_created.py 

Возможно ли запустить паук без команды scrapy crawl после создания папки проекта scrapy с файлом spider.py

Попробуйте выполнить команду runpider :

 scrapy runspider /path/to/spider_file_inside_scrapy_folder_created.py 

Да! Если вы хотите сделать это программно вместо вызова команды через Popen, вы можете запустить ее следующим образом:

 >>> from scrapy.cmdline import execute >>> execute(['scrapy','crawl','dmoz']) 

Дайте мне знать, если у вас возникнут проблемы. Я использую версию, на которую ссылаются документарные документы на Github для целей тестирования:

https://github.com/scrapy/dirbot

Я думаю, что ответ (если я понимаю ваш вопрос) теперь должен использовать API :

 import scrapy from scrapy.crawler import CrawlerProcess class MySpider(scrapy.Spider): # Your spider definition ... process = CrawlerProcess({ 'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' }) process.crawl(MySpider) process.start()