Как запустить scrapy с файлом py

Привет, я работаю над scrapy, я создал папку scrapy с scrapy startproject example и написанным пауком, чтобы очистить все данные от url, и я запустил паука, используя команду scrapy crawl spider_name , ее работоспособность и возможность получать данные.

Но у меня было требование, что мне нужно запустить скрипинг с одним созданным файлом-пауком. Я имею в виду один файл с файлом

 python -u /path/to/spider_file_inside_scrapy_folder_created.py 

Возможно ли запустить паук без команды scrapy crawl после создания папки проекта scrapy с файлом spider.py

3 Solutions collect form web for “Как запустить scrapy с файлом py”

Попробуйте выполнить команду runpider :

 scrapy runspider /path/to/spider_file_inside_scrapy_folder_created.py 

Да! Если вы хотите сделать это программно вместо вызова команды через Popen, вы можете запустить ее следующим образом:

 >>> from scrapy.cmdline import execute >>> execute(['scrapy','crawl','dmoz']) 

Дайте мне знать, если у вас возникнут проблемы. Я использую версию, на которую ссылаются документарные документы на Github для целей тестирования:

https://github.com/scrapy/dirbot

Я думаю, что ответ (если я понимаю ваш вопрос) теперь должен использовать API :

 import scrapy from scrapy.crawler import CrawlerProcess class MySpider(scrapy.Spider): # Your spider definition ... process = CrawlerProcess({ 'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' }) process.crawl(MySpider) process.start() 
  • Невозможно определить пользовательское промежуточное программное обеспечение загрузчика в Scrapy
  • Итерация через сайты с помощью Python Scrapy
  • Scrapy не может найти паука
  • scrapy разрешает все поддомены
  • Scrapy: передача информации в предыдущую функцию
  • Как добавить новые запросы для моего Scrapy Spider во время сканирования
  • Невозможно получить простейший пример трубопровода для работы в скрининге
  • Выполнение функций Javascript с использованием scrapy в python
  •  
    Interesting Posts for Van-Lav

    'utf-8' кодек не может декодировать байт 0x89

    Удалите n символов из начала строки.

    Как заменить символы в строке на следующую?

    Получите удаленный MAC-адрес с помощью Python и Linux

    Почему я получаю эту ошибку? ValueError: Неправильное количество элементов прошло 2, место предполагает 4 ", даже код в порядке?

    python np.round () с десятичной опцией больше 2

    Получить значение слайдера wxpython под щелчком мыши

    Использование OpenCV detectMultiScale для поиска моего лица

    SKLearn – анализ основных компонентов приводит к ужасным результатам в предсказаниях knn

    Где фляжка ищет файлы изображений?

    Что такое минимальное подмножество файловых методов, которое мне нужно реализовать, чтобы получить полный интерфейс файла python?

    Что такое эквивалент (-ы) Python в Framework коллекций Java?

    Matplotlib: отображение графика на удаленной машине

    Попытка входа в quora с использованием механизации

    Использование расширений TCL для установки стиля родного окна в Tkinter

    Python - лучший язык программирования в мире.