Tag: amazon s3

Boto «get byte range» возвращает больше, чем ожидалось

Это мой первый вопрос здесь, поскольку я довольно новичок в этом мире! Я потратил несколько дней, пытаясь понять это для себя, но до сих пор не нашел никакой полезной информации. Я пытаюсь получить байтовый диапазон из файла, хранящегося в S3, используя что-то вроде: S3Key.get_contents_to_file(tempfile, headers={'Range': 'bytes=0-100000'} Файл, который я пытаюсь восстановить, – это видеофайл, в […]

Django Rest Framework: перенаправление на Amazon S3 не работает при использовании аутентификации Token

Я использую аутентификацию на токенах в DRF и для определенного вызова API, хочу перенаправить на S3 (используя URL-адрес, например https://my_bucket.s3.amazonaws.com/my/file/path/my_file.jpg?Signature=MY_AWS_SIGNATURE&AWSAccessKeyId=MY_AWS_ACCESS_KEY_ID ). Однако, я получаю следующую ошибку от AWS: <Error> <Code>InvalidArgument</Code> <Message>Only one auth mechanism allowed; only the X-Amz-Algorithm query parameter, Signature query string parameter or the Authorization header should be specified</Message> <ArgumentName>Authorization</ArgumentName> <ArgumentValue>Token a3f61c10592272399099882eb178bd4b755af5bf</ArgumentValue> <RequestId>E4038228DD1E6330</RequestId> […]

Amazon S3 Python S3Boto 403 Запрещен, когда подпись имеет знак «+»

Я использую Django и S3Boto и всякий раз, когда подпись имеет знак '+' , я получаю S3Boto 403 Forbidden . Если в сигнатуре нет знака '+' , я получаю ресурс просто отлично. Что здесь может быть не так? ОБНОВИТЬ: Репо находится по адресу: https://github.com/boto/boto соответствующие файлы: boto/utils.py boto/s3/connection.py ПРИМЕЧАНИЕ. Я довольно новичок в Python. Я […]

Как обновить метаданные существующего объекта в AWS S3 с помощью python boto3?

В документации boto3 четко не указано, как обновить метаданные пользователя уже существующего объекта S3.

Возможно ли получить содержимое файла S3 без его загрузки с помощью boto3?

Я работаю над процессом сбрасывания файлов из базы данных Redshift и не хочу, чтобы локально загружать файлы для обработки данных. Я видел, что Java имеет класс StreamingObject который делает то, что я хочу, но я не видел ничего подобного в boto3 .

Загрузка фальшивого изображения на S3 отправляет только HTML

Я пытаюсь создать небольшое приложение, которое загружает изображения в ведро Amazon S3. Наконец, я смог успешно загрузить что-то, но когда я проверил его в консоли S3, все, что было загружено, было HTML: <input id="image" name="image" type="file"> Настой: def s3upload(image, acl='public-read'): key = app.config['S3_KEY'] secret = app.config['S3_SECRET'] bucket = app.config['S3_BUCKET'] conn = S3Connection(key, secret) mybucket = […]

Завершить multipart_upload с помощью boto3?

Пробовал это: import boto3 from boto3.s3.transfer import TransferConfig, S3Transfer path = "/temp/" fileName = "bigFile.gz" # this happens to be a 5.9 Gig file client = boto3.client('s3', region) config = TransferConfig( multipart_threshold=4*1024, # number of bytes max_concurrency=10, num_download_attempts=10, ) transfer = S3Transfer(client, config) transfer.upload_file(path+fileName, 'bucket', 'key') Результат: файл 5.9 gig на s3. Кажется, не содержит […]

Загрузка изображения: iPhone-клиент – Django – S3

У меня есть общий вопрос относительно загрузки с клиента (в данном случае приложения для iPhone) на S3. Я использую Django для написания своего веб-сервиса на экземпляре EC2. Следующий метод является минимальным для загрузки файла на S3, и он отлично работает с меньшими файлами (jpgs или pngs <1 MB): def store_in_s3(filename, content): conn = S3Connection(settings.ACCESS_KEY, settings.PASS_KEY) […]

Как читать csv, хранящийся в S3 с помощью csv.DictReader?

У меня есть код, который извлекает объект AWS S3. Как читать этот StreamingBody с помощью csv.DictReader на Python? import boto3, csv session = boto3.session.Session(aws_access_key_id=<>, aws_secret_access_key=<>, region_name=<>) s3_resource = session.resource('s3') s3_object = s3_resource.Object(<bucket>, <key>) streaming_body = s3_object.get()['Body'] #csv.DictReader(???)

Прямая загрузка в S3 с помощью Python / Boto / Django для создания политики

До сих пор я прошел через многие итерации этой проблемы, выяснил множество разных примеров и прошел всю документацию. Я пытаюсь объединить Plupload ( http://www.plupload.com/ ) с методом прямой публикации AWS S3 ( http://aws.amazon.com/articles/1434 ). Однако я считаю, что что-то не так с тем, как я строю свою политику и подпись для передачи. Когда я отправляю […]

Python - лучший язык программирования в мире.