Tag: amazon s3

S3ResponseError: 403 Запрещено использование boto

У меня есть сценарий, который копирует файлы из одной учетной записи S3 в другую учетную запись S3, она работает befoure !!!! Это уж точно. Чем я пробовал это сегодня, и это больше не дает мне ошибку S3ResponseError: 403 Forbidden . Я на 100% уверен, что учетные данные верны, и я могу пойти и загрузить ключи […]

Загрузка файла Boto2 дает ConnectionResetError

Я пытаюсь загрузить файлы в ведро S3, используя код из этого вопроса: https://stackoverflow.com/a/15087468/291372 . Я использую boto2 (boto3 имеет слишком много зависимостей). Я пробовал много методов, но никто не работает для меня. CORS был проверен на ведро и установлен, чтобы происхождение происходило от "*" Вот мой код: # -*- coding: utf-8 -*- import boto import […]

Unzip my_file.zip вытащил из s3 с помощью boto

Я пытаюсь использовать boto для открытия .zip файла, который у меня есть в s3 . Я пытаюсь работать с данными напрямую, я хочу избежать создания временных файлов. In [201]: import StringIO In [202]: import boto In [203]: conn = boto.connect_s3() In [204]: my_bucket = conn.get_bucket('my_bucket') In [205]: my_list = [ele for ele in my_bucket.list('my_file.zip')] In […]

Сбой сервера при резервном копировании MySQL с помощью python

У меня есть сценарий python, который каждый час поддерживает мою базу данных MySQL в ведра Amazon S3. Я использую сценарий, чтобы просто вызвать mysqldump для создания дампа, а затем загрузить его в ведро S3 с помощью tinys3 , обратите внимание, что я установил lock-tables в false, чтобы транзакции других приложений не мешали. Вот сценарий для […]

Как расшифровать шифрование на стороне клиента AWS Ruby на Python

AWS S3 SDK для Ruby позволяет шифровать файл на стороне клиента («конверт»). Это комбинация шифрования AES CBC / ECB для клиентского ключа, где ключ конверта и вектор инициализации хранятся в метаданных. У меня есть разработчик Ruby, который зашифровал различные файлы в ведро S3, которое мне нужно получить и расшифровать с помощью Python. В Python S3 […]

Импортировать модуль python из внешнего URL-адреса

Я создаю скрипт Python для обработки json-данных в соответствии с некоторыми критериями. Также я создал собственный модуль, который состоит из методов для извлечения json-данных и генерации json-файла, который состоит из обработанных данных. Но этот файл модуля хранится в ведро S3, и мне нужно импортировать этот модуль в свой скрипт, чтобы я мог вызывать функции, определенные […]

Повторное машинное обучение ETL с использованием Luigi

Сегодня работа над заданием машинного обучения, которую я написал, выполняется вручную. Я загружаю необходимые входные файлы, изучаю и предсказываю вещи, выводя CSV-файл, который затем копирую в базу данных. Однако, поскольку это происходит в производстве, мне нужно автоматизировать весь этот процесс. Необходимые входные файлы будут поступать каждый месяц (и, в конечном счете, чаще) в ведро S3 […]

Boto3 S3, сортировочный ковш по последнему измененному

Мне нужно получить список элементов из S3 с помощью Boto3, но вместо того, чтобы возвращать порядок сортировки по умолчанию (по убыванию), я хочу, чтобы он возвращал его в обратном порядке. Я знаю, что вы можете сделать это через awscli: aws s3api list-objects –bucket mybucketfoo –query "reverse(sort_by(Contents,&LastModified))" и его выполнимость через консоль пользовательского интерфейса (не уверен, […]

Как читать двоичный файл на S3 с помощью boto?

У меня есть серия Python Script / Excel File в папке S3 (частный раздел). Я могу читать их через HTTP-URL, если они являются общедоступными. Хотите узнать, как я могу получить доступ к бинарным файлам для их выполнения? FileURL='URL of the File hosted in S3 Private folder' exec(FileURL) run(FileURL)

Создание сигнатуры AASA S3 CORS с Python

Я получаю чертовски время, когда S3 принимает закачки через запрос CORS POST, созданный PhoneGap (Cordova) FileTransfer.upload (). Любые предложения относительно того, что я могу пропустить, будут оценены. В настоящее время я получаю ответ 403 AccessDenied, используя приведенный ниже код. Я был над этим много раз по сравнению с документацией S3 и не могу понять проблему. […]

Python - лучший язык программирования в мире.