Каков самый простой способ запуска скриптов python на сервере облаков?

У меня есть скрипт python для веб-сканирования, который занимает несколько часов, и он не может быть запущен полностью на моей локальной машине. Есть ли удобный способ развернуть это на простой веб-сервер? Сценарий в основном загружает веб-страницы в текстовые файлы. Как это лучше всего сделать? Благодаря!

  • Установка Easy_install Python с помощью ez_setup.py из-за прокси-сервера
  • Как запустить скрипт Python на моем веб-сервере?
  • Как установить параметры прокси-сервера в MacOS с помощью python
  • ipython-сервер не может запускаться: ни один модуль с именем notebook.notebookapp
  • Локальный сервер дает неправильные файлы. Возможно ли, что я запускаю 2 сервера python?
  • Как написать сервер пула прокси (когда приходит запрос, выбрать прокси для получения содержимого url) в python?
  • Приложение Flask получает «IOError: Broken pipe»
  • Websockets with Tornado: получить доступ из «снаружи» для отправки сообщений клиентам
  • 3 Solutions collect form web for “Каков самый простой способ запуска скриптов python на сервере облаков?”

    Поскольку вы сказали, что производительность – это проблема, и вы делаете веб-очистку, первое, что нужно попробовать, это Scrapy framework – это очень быстрая и простая в использовании веб-скребка. scrapyd tool позволит вам распространять обход – вы можете использовать несколько служб scrapyd на разных серверах и разделить нагрузку между ними. Видеть:

    • Распределенные обходы
    • Запуск Scrapy на Amazon EC2

    Существует также Scrapy Cloud :

    Scrapy Cloud объединяет высокоэффективную среду разработки Scrapy с надежной, полнофункциональной производственной средой для развертывания и запуска ваших обходов. Это похоже на Heroku для Scrapy, хотя другие технологии будут поддерживаться в ближайшем будущем. Он работает поверх платформы Scrapinghub, что означает, что ваш проект может масштабироваться по мере необходимости.

    Есть несколько мест, где вы можете это сделать. Просто Google для «python in the cloud», вы придумаете несколько, например https://www.pythonanywhere.com/ .

    Кроме того, есть также несколько облачных IDE, которые по существу предоставляют вам небольшую виртуальную машину бесплатно, где вы можете развить свой код в веб-среде IDE, а также запустить ее в виртуальной машине, одним из примеров является http://www.c9.io ,

    В качестве альтернативы уже предоставленным решениям я бы предложил Heroku . Вы можете не просто легко развертывать веб-сайт, но и сценарии для запуска ботов.

    Базовая учетная запись бесплатна и довольно гибкая.

    Эта запись в блоге , это одно и это видео содержат практические примеры того, как заставить его работать.

    Python - лучший язык программирования в мире.