ввод / вывод для экземпляра scrapyd, размещенного на экземпляре Amazon EC2 linux

Недавно я начал работать над созданием скребков с использованием scrapy. Первоначально я развернул свои проекты в области scrapy, используя scrapyd.

Проект, который я построил, основан на доступе к данным из файла CSV для запуска

def search(self, response): with open('data.csv', 'rb') as fin: reader = csv.reader(fin) for row in reader: subscriberID = row[0] newEffDate = datetime.datetime.now() counter = 0 yield scrapy.Request( url = "https://www.healthnet.com/portal/provider/protected/patient/results.action?__checkbox_viewCCDocs=true&subscriberId=" + subscriberID + "&formulary=formulary", callback = self.find_term, meta = { 'ID': subscriberID, 'newDate': newEffDate, 'counter' : counter } ) 

Он выводит скребковые данные в другой файл CSV

  for x in data: with open('missing.csv', 'ab') as fout: csvwriter = csv.writer(fout, delimiter = ',') csvwriter.writerow([oldEffDate.strftime("%m/%d/%Y"),subscriberID,ipa]) return 

Мы находимся на начальных этапах создания приложения, которому необходимо получить доступ и запустить этих пауков. Я решил разместить мой экземпляр scrapyd на экземпляре AWS EC2 linux. Развертывание в AWS было простым ( http://bgrva.github.io/blog/2014/04/13/deploy-crawler-to-ec2-with-scrapyd/ ).

Как вводить / выводить скребковые данные в / из экземпляра scrapyd, запущенного на экземпляре AWS EC2 linux?

EDIT: я предполагаю, что передача файла будет выглядеть так:

 curl http://my-ec2.amazonaws.com:6800/schedule.json -d project=projectX -d spider=spider2b -d in=file_path 

Это верно? Как бы я захватил выход из этого запуска паука? Имеет ли этот подход проблемы безопасности?

• boto3 aws api – Список доступных типов экземпляров
• Как создать ссылку на файл без истечения срока действия?
• Жизненный цикл объекта AWS S3 через Boto
• Как настроить HTTPS на AWS Elastic Beanstalk
• OpenCV с AWS Lambda