Как развернуть паук Scrapy на облаке Heroku

Я разработал несколько пауков в scrapy, и я хочу проверить их на облаке Heroku. Кто-нибудь имеет представление о том, как развернуть паук Scrapy на облаке Heroku?

One Solution collect form web for “Как развернуть паук Scrapy на облаке Heroku”

Да, довольно просто развернуть и запустить ваш паук Scrapy на Heroku.

Ниже приведены шаги с использованием реального проекта Scrapy:

  1. Клонируйте проект (обратите внимание, что он должен иметь файл requirements.txt для Heroku, чтобы распознать его как проект Python):

    git clone https://github.com/scrapinghub/testspiders.git

  2. Добавьте cffi в файл require.txt (например, cffi == 1.1.0).

  3. Создайте приложение Heroku (это добавит новый пульт героя git):

    heroku create

  4. Разверните проект (это займет время в первый раз, когда будет создан слиз):

    git push heroku master

  5. Запустите свой паук:

    heroku run scrapy crawl followall

Некоторые примечания:

  • Диск Heroku является эфемерным. Если вы хотите сохранить очищенные данные в постоянном месте, вы можете использовать экспорт -o s3://mybucket/items.jl S3 (путем добавления -o s3://mybucket/items.jl ) или использовать аддон (например, MongoHQ или Redis To Go) и написать трубопровод для хранения ваших товаров там
  • Было бы здорово запустить сервер Scrapyd на Heroku, но в настоящее время это невозможно, потому что модуль sqlite3 (который требует Scrapyd) не работает на Heroku
  • Если вам требуется более сложное решение для развертывания ваших пауков Scrapy, подумайте о настройке собственного сервера Scrapyd или использовании размещенного сервиса, такого как Scrapy Cloud
  • Как установить Scrapy на Unbuntu 16.04?
  • Python Scrapy - заполнить start_urls из mysql
  • Проблемы с использованием scrapy с использованием javascript __doPostBack
  • получение Запрещено robots.txt: scrapy
  • Сделать Scrapy следовать ссылкам и собирать данные
  • Избегайте неправильных запросов из-за относительных URL-адресов
  • Полоса \ n \ t \ r в scrapy
  • объекты для очистки не являются сериализуемыми JSON, сохраняя их на couchdb
  •  
    Interesting Posts for Van-Lav

    django-allauth возвращает ошибку «Обратный … с аргументами () и аргументами ключевого слова '{}' not found"

    Как я могу читать из файла, состоящего из имен городов и координат / групп населения и создавать функции для получения координат и населения?

    Каков предпочтительный способ реализации «урожая» в Scala?

    Перемещение в произвольную позицию в файле в Python

    Django Rest Framework – вложенная сериализация не работает должным образом

    Tweepy twitter oauth аутентификация не возвращает oauth_verifier

    "Diff -u -B -w" в python?

    Нужно создать слоистый dict из плоского

    Можно ли добавить новый элемент на основе другой строки базы данных в SQLAlchemy?

    Мини-код Python и кодированный XML-код UTF-8 с хэш-ссылками

    Как редактировать несколько элементов в df.columns

    pandas MovingOLS не поддерживает значения NA?

    Запись в новый каталог на Python без изменения каталога

    Серия Python – Extra Excel с win32com

    IronPython WPF с RevitPythonShell

    Python - лучший язык программирования в мире.