Tag: amazon web сервисы

Итерирование всех элементов таблицы DynamoDB

Я пытаюсь перебрать все элементы в таблице DynamoDB. (Я понимаю, что это неэффективный процесс, но я делаю это одноразовое создание таблицы индексов.) Я понимаю, что функция scan () DynamoDB возвращает меньшее 1 МБ или предоставленный лимит. Чтобы компенсировать это, я написал функцию, которая ищет результат «LastEvaluatedKey» и повторные запросы, начиная с LastEvaluatedKey, чтобы получить все […]

Полное сканирование dynamoDb с помощью boto3

Мой стол составляет около 220 МБ с 250 тыс. Записей. Я пытаюсь вытащить все эти данные в python. Я понимаю, что это должен быть пакетный пакетный процесс и зацикливаться, но я не уверен, как я могу установить партии, чтобы начать с предыдущего. Есть ли способ отфильтровать сканирование? Из того, что я прочитал, фильтрация происходит после […]

Можно ли сохранить datetime в DynamoDB?

У меня есть следующий код: users_table = Table(users_table_name, connection=Core.aws_dynamodb_connection) users_table.put_item(data={ "login": login, "password": hashlib.sha256(password.encode("utf-8")).hexdigest(), "profile": profile, "registration_date": datetime.now() # PROBLEM IS HERE }) Но когда я запускаю его, он терпит неудачу с ошибкой: TypeError: Неподдерживаемый тип "<тип" datetime.datetime '> "для значения" 2015-01-12 05: 02: 57.053131 " Я пробовал много способов, но кажется, что невозможно сохранить […]

Как обновить метаданные существующего объекта в AWS S3 с помощью python boto3?

В документации boto3 четко не указано, как обновить метаданные пользователя уже существующего объекта S3.

AWS EMR Spark «Нет модуля под названием pyspark»

Я создал искровой кластер, ssh в мастер, и запустил оболочку: MASTER=yarn-client ./spark/bin/pyspark Когда я делаю следующее: x = sc.textFile("s3://location/files.*") xt = x.map(lambda x: handlejson(x)) table= sqlctx.inferSchema(xt) Я получаю следующую ошибку: Error from python worker: /usr/bin/python: No module named pyspark PYTHONPATH was: /mnt1/var/lib/hadoop/tmp/nm-local-dir/usercache/hadoop/filecache/11/spark-assembly-1.1.0-hadoop2.4.0.jar java.io.EOFException java.io.DataInputStream.readInt(DataInputStream.java:392) org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:151) org.apache.spark.api.python.PythonWorkerFactory.createThroughDaemon(PythonWorkerFactory.scala:78) org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:54) org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:97) org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:66) org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:262) org.apache.spark.rdd.RDD.iterator(RDD.scala:229) org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:62) org.apache.spark.scheduler.Task.run(Task.scala:54) org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:177) java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) […]

Пользовательские разрешения wsgi на эластичном бобовом стебле

Я использую эластичный бобовый стебель и джанго. Одна из моих зависимостей в файле requirements.txt имеет некоторую настройку, которую она выполняет, когда она изначально импортирована. Часть настройки – проверить, существует ли каталог, кроме того, он его создает. Я получаю ошибки разрешений, потому что пользователь (я предполагаю, что это wsgi) не имеет прав на создание каталога. OSError: […]

Получение ошибки «ImportError: невозможно импортировать имя HTTPSConnection» в Python 2.7

Я пытаюсь развернуть django в AWS ElasticBeanstalk. Пока я выполнял шаги, как показано здесь , я застрял в команде «eb init». Я использую Python 2.7 в Ubuntu 12.10 (vmware) Я получаю ошибку, как показано ниже: eb init ….. from lib.aws.http_client import HTTP_GET, HTTP_POST File "/home/g/Documents/Files/AWS/AWS-ElasticBeanstalk-CLI-2.4.0/eb/linux/python2.7/lib/aws/http_client.py", line 17, in <module> from httplib import HTTPSConnection ImportError: cannot […]

pymongo – Невозможно подключиться к mongodb, работающему на EC2

Я подключаюсь к серверу mongodb на EC2. Коллекции mongo требуют аутентификации для подключения. Я пробовал все, но я получаю следующую ошибку и не могу ее исправить. from pymongo import MongoClient mongo_username = "username" mongo_password = "password" ssh_user = "user" ssh_address = "ec2-**********.amazonaws.com" ssh_port = 22 private_key = "path/to/key/mykey.pem" def connect_to_mongo(): try: client = MongoClient("mongodb://"+mongo_username+":"+mongo_password+"@" + […]

Ошибка AMP кластера Amazon EMP

Я использую AWS-кластер EMR 5.3.1 с Hadoop + Spark + Hive + Zeppelin Когда я использую Zeppelin и команду типа: %python import matplotlib.pyplot as plt plt.plot([1, 2, 3]) Я получаю ошибку: ImportError: Gtk3 backend requires pygobject to be installed. Как его решить?

Загрузка фальшивого изображения на S3 отправляет только HTML

Я пытаюсь создать небольшое приложение, которое загружает изображения в ведро Amazon S3. Наконец, я смог успешно загрузить что-то, но когда я проверил его в консоли S3, все, что было загружено, было HTML: <input id="image" name="image" type="file"> Настой: def s3upload(image, acl='public-read'): key = app.config['S3_KEY'] secret = app.config['S3_SECRET'] bucket = app.config['S3_BUCKET'] conn = S3Connection(key, secret) mybucket = […]

Python - лучший язык программирования в мире.