Повторный запрос Redshift + SQLAlchemy

Я делаю что-то среди строк:

conn_string = "postgresql+psycopg2://%s:%s@%s:%d/%s" % (db_user, db_pass, host, port, schema) conn = sqlalchemy.engine.create_engine(conn_string,execution_options={'autocommit':True},encoding='utf-8',isolation_level="AUTOCOMMIT") rows = cur.execute(sql_query) 

Выполнение запросов в кластере Redshift. В последнее время я занимаюсь такими задачами обслуживания, как запуск vacuum reindex на больших таблицах, которые усекаются и перезагружаются каждый день.

Проблема в том, что эта команда занимает около 7 минут для конкретной таблицы (таблица огромна, 60 миллионов строк по 15 столбцам), и когда я запускаю ее с помощью вышеописанного метода, она просто не заканчивается и не зависает. Я вижу в панели управления кластерами в AWS, что части команды вакуума работают около 5 минут, а затем просто останавливаются. Нет ошибок python, ошибок в кластере нет, ничего.

Я предполагаю, что соединение потеряно во время команды. Итак, как мне доказать свою теорию? Кто-нибудь еще с проблемой? Что я могу изменить в строке подключения, чтобы сохранить ее дольше?

One Solution collect form web for “Повторный запрос Redshift + SQLAlchemy”

Это скорее всего не проблема с подключением. Чтобы это подтвердить, попробуйте нажать несколько миллионов строк в фиктивную таблицу (что занимает более 5 минут) и посмотреть, не сработает ли утверждение. Когда запрос был отправлен на красное смещение, независимо от того, что ваша строка соединения закрывается, запрос выполняется в фоновом режиме.

Теперь, придя к самой проблеме, я предполагаю, что у вас заканчивается память или дисковое пространство, можете ли вы быть более сложными и указать свою настройку красного смещения (Сколько узлов dc1 / ds2)? Кроме того, попробуйте запустить некоторые запросы администратора и посмотреть, сколько места у вас осталось на диске. Иногда, когда кластер загружается до краев, возникает полная ошибка диска, но в вашем случае, так как соединение может быть отброшено намного раньше, чем ошибка будет передана вашей оболочке python.

  • конвертировать выбранное время и дату в sqlalchemy
  • Каков рекомендуемый шаблон использования scoped_session в многопоточном sqlalchemy webapp?
  • Как получить строки, которые соответствуют списку 3-х кортежей с SQLAlchemy
  • Как написать DataFrame в таблицу postgres?
  • Множественный индекс столбцов при использовании декларативного расширения ORM sqlalchemy
  • SQLAlchemy Python не очищает вторичную таблицу (многие-ко-многим)?
  • Запрос отношения «многие ко многим» в SQLAlchemy
  • sqlalchemy flush () и получить вставленный идентификатор?
  •  
    Interesting Posts for Van-Lav

    Нет модуля с именем flask.ext.wtf

    Чистые входные строки без использования классов формы django

    Терминология Python: вещи слева от «= argv» в программе Learn Python the Hard Way 13

    Решение обратных задач с PyMC

    В Django, как вы извлекаете данные из дополнительных полей для отношений «многие ко многим» без явного запроса?

    Где я могу получить экземпляр службы Authorized Gmail API? (python, gmail api)

    Регулярное выражение python: захватывает части нескольких строк, которые содержат пробелы

    Проблемы с установкой python3 на RHEL

    Python – чтение csv и группировка данных по столбцу

    Модуль xlwt – сохранение ошибки unicode xls

    Как я могу скрыть косые черты в python, так что open () видит мой файл как имя файла для записи, а не путь к файлу для чтения?

    Эффективное обнаружение изменений знака в python

    Сочетание слов и других функций в одной модели с использованием sklearn и панд

    Как я могу профилировать код python по очереди?

    pyvenv устанавливает неправильную версию pip

    Python - лучший язык программирования в мире.