scrapy spider отправляет сигнал spider_close перед закрытием

У меня есть паук, который принимает файл как параметр, этот файл содержит xpaths.

Паук анализирует файл и получает xpaths и начинает сканирование.

Все работает нормально

Теперь я хочу запустить этот паук много раз, поэтому я сделал это:

script.py

def setup_crawler(file): spider = MySpider(attributesXMLFilePath=file) settings = get_project_settings() crawler = Crawler(settings) crawler.configure() crawler.crawl(spider) crawler.start() for oneFile in myFiles: setup_crawler(oneFile') log.start() reactor.run() 

и в MySpider я делаю это:

 def __init__(self, attributesXMLFilePath): dispatcher.connect(self.spider_closed, signals.spider_closed) def spider_closed(self, spider): log.msg('The number of pages in the spider {1} are {0}'.format(self.numbers, self.attributesXMLFilePath)) log.msg('The number of details pages in the spider {1} are {0}'.format(self.numbers2, self.attributesXMLFilePath)) log.msg('The spider {0} with xml {2} finished working on {1}'.format(self.name, datetime.now(), self.attributesXMLFilePath), level=log.INFO) 

но в файле журнала я вижу следующее:

 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of pages in the spider file1.xml are 1 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of pages in the spider file1.xml are 1 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of details pages in the spider file1.xml are 0 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of details pages in the spider file1.xml are 0 2014-06-08 18:18:03+0300 [scrapy] INFO: The spider MySpider with xml file1.xml finished working on 2014-06-08 18:18:03.746000 2014-06-08 18:18:03+0300 [scrapy] INFO: The spider MySpider with xml file1.xml finished working on 2014-06-08 18:18:03.746000 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of pages in the spider file2.xml are 1 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of pages in the spider file2.xml are 1 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of details pages in the spider file2.xml are 0 2014-06-08 18:18:03+0300 [scrapy] INFO: The number of details pages in the spider file2.xml are 0 2014-06-08 18:18:03+0300 [scrapy] INFO: The spider MySpider with xml file2.xml finished working on 2014-06-08 18:18:03.748000 2014-06-08 18:18:03+0300 [scrapy] INFO: The spider MySpider with xml file2.xml finished working on 2014-06-08 18:18:03.748000 

Как видишь:

  1. каждая строка дублируется дважды, почему ?
  2. существует много раз, что функция spider_close выполняется

Заметка

У меня эти данные журнала в моем файле журнала много, и я просто показал вам образец, чтобы объяснить мою проблему

Заметка 2

Ofc Я не использую MySpider , file1.xml и file2.xml , но я не мог показать вам настоящее имя для вопросов конфиденциальности.

Python - лучший язык программирования в мире.