Могу ли я выполнить scrapy (python) сканирование вне проекта dir?

Документы говорят, что я могу выполнить команду обхода внутри проекта dir:

scrapy crawl tutor -o items.json -t json 

но мне действительно нужно выполнить его в моем коде python (файл python не находится внутри текущего проекта dir)

• Как использовать HTMLParser Python для извлечения определенных ссылок
• Что означает эта ошибка: ValueError: неизвестный тип кодировки формы POST '' (и как его решить?)
• Как понять этот необработанный HTML-код Yahoo! Финансы при извлечении данных с помощью Python?
• Скорость сканирующего сканирования медленная (60 страниц / мин)
• Запуск нескольких пауков с использованием scrapyd

Есть ли какой-либо подход, соответствующий моему требованию?

Мое дерево проекта:

 . ├── etao │  ├── etao │  │  ├── __init__.py │  │  ├── items.py │  │  ├── pipelines.py │  │  ├── settings.py │  │  └── spiders │  │  ├── __init__.py │  │  ├── etao_spider.py │  ├── items.json │  ├── scrapy.cfg │  └── start.py └── start.py <-------------- I want to execute the script here. 

Любой здесь мой код следил за этой ссылкой, но он не работает:

 #!/usr/bin/env python import os #Must be at the top before other imports os.environ.setdefault('SCRAPY_SETTINGS_MODULE', 'project.settings') from scrapy import project from scrapy.conf import settings from scrapy.crawler import CrawlerProcess class CrawlerScript(): def __init__(self): self.crawler = CrawlerProcess(settings) if not hasattr(project, 'crawler'): self.crawler.install() self.crawler.configure() def crawl(self, spider_name): spider = self.crawler.spiders.create(spider_name) <--- line 19 if spider: self.crawler.queue.append_spider(spider) self.crawler.start() self.crawler.stop() # main if __name__ == '__main__': crawler = CrawlerScript() crawler.crawl('etao') 

ошибка:

 line 19: KeyError: 'Spider not found: etao' 

• Выдержка из динамического ответа JSON с помощью Scrapy
• Создание родового спайдера
• Передача аргументов в process.crawl в Scrapy python
• Как использовать модуль Python Scrapy для отображения всех URL-адресов с моего сайта?
• Требуется помощь в отладке веб-искателя Python

 from scrapy.crawler import CrawlerProcess from scrapy.conf import settings settings.overrides.update({}) # your settings crawlerProcess = CrawlerProcess(settings) crawlerProcess.install() crawlerProcess.configure() crawlerProcess.crawl(spider) # your spider here