Могу ли я выполнить scrapy (python) сканирование вне проекта dir?

Документы говорят, что я могу выполнить команду обхода внутри проекта dir:

scrapy crawl tutor -o items.json -t json 

но мне действительно нужно выполнить его в моем коде python (файл python не находится внутри текущего проекта dir)

• Как остановить всех пауков и двигатель сразу после выполнения условия в конвейере?
• Scrapy сканирует все ссылки sitemap
• Анализ аякс-ответов для получения окончательного содержания url в Scrapy?
• порядок URL-адресов Scrapy Crawling с длинным списком start_urls и URL-адресов yiels от паука
• Как я могу использовать разные конвейеры для разных пауков в одном проекте Scrapy
• Scrapy - Сканирование и очистка веб-сайта

Есть ли какой-либо подход, соответствующий моему требованию?

Мое дерево проекта:

 . ├── etao │  ├── etao │  │  ├── __init__.py │  │  ├── items.py │  │  ├── pipelines.py │  │  ├── settings.py │  │  └── spiders │  │  ├── __init__.py │  │  ├── etao_spider.py │  ├── items.json │  ├── scrapy.cfg │  └── start.py └── start.py <-------------- I want to execute the script here. 

Любой здесь мой код следил за этой ссылкой, но он не работает:

 #!/usr/bin/env python import os #Must be at the top before other imports os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'project.settings') from scrapy import project from scrapy.conf import settings from scrapy.crawler import CrawlerProcess class CrawlerScript(): def __init__(self): self.crawler = CrawlerProcess(settings) if not hasattr(project, 'crawler'): self.crawler.install() self.crawler.configure() def crawl(self, spider_name): spider = self.crawler.spiders.create(spider_name) <--- line 19 if spider: self.crawler.queue.append_spider(spider) self.crawler.start() self.crawler.stop() # main if __name__ == '__main__': crawler = CrawlerScript() crawler.crawl('etao') 

ошибка:

 line 19: KeyError: 'Spider not found: etao' 

 from scrapy.crawler import CrawlerProcess from scrapy.conf import settings settings.overrides.update({}) # your settings crawlerProcess = CrawlerProcess(settings) crawlerProcess.install() crawlerProcess.configure() crawlerProcess.crawl(spider) # your spider here