Tag: сельдерея

Невозможно запустить Airflow worker / flower и получить разъяснения по архитектуре Airflow, чтобы убедиться в правильности установки

Запуск рабочего на другой машине приводит к ошибкам, указанным ниже. Я выполнил инструкции по настройке и синхронизирую папку dags. Я также хотел бы подтвердить, что RabbitMQ и PostgreSQL необходимо установить только на основной машине Airflow и не нужно устанавливать на рабочих (рабочие только подключаются к ядру). Спецификация настройки приведена ниже: Компьютер с воздушным потоком / […]

Получите имя работника сельдерея из задачи сельдерея?

Я хотел бы, чтобы задача сельдерея могла получить имя исполнителя, выполняющего его, для целей ведения журнала. Мне нужно справиться с этим из задачи, а не напрямую обращаться к брокеру. Есть ли способ сделать это? Я использую сельдерей с RabbitMQ, если это имеет значение.

Использование временных файлов в результатах Django Celery

Я использую задачу сельдерея для создания экспорта PDF и Excel для пользовательских данных. Эти задачи создают временные файлы. Вот проблема. Я использую объекты NamedTemporaryFile , которые автоматически удаляются, когда файл закрыт. Поскольку они закрыты в конце задания, они просто исчезают немедленно. Я могу заставить его работать, если я установил свойство delete в false: NamedTemporaryFile(delete=False) Но […]

Как получить время выполнения задачи с использованием сельдерея?

Я хочу получить время выполнения для любой задачи, предполагая, что у меня есть task_id. Есть ли способ получить время выполнения? Я знаю, что время будет регистрироваться сельдереем, но я не хочу анализировать файл журнала. Аналогичным образом, есть ли способ получить время ожидания и для задачи, другими словами, с момента назначения задачи рабочему узлу до момента […]

сельдерей / колбу; Переход от разработки к производству

У меня есть флеш-приложение, я использую сельдерей в качестве очереди задач. У меня есть версия разработки, хорошо работающая через небольшой скрипт, который выглядит так: from celery import Celery from settings import REDIS_URL as redis_url from tasks import * celery = Celery('my_tasks', broker = redis_url, backend = redis_url ) if __name__ == "__main__": celery.start() который хорошо […]

Использование сельдерея с контекстом приложения «Флакс» дает «Неправильный контекст приложения». AssertionError

Я более или менее использую настройку для запуска задач Celery, используя контекст приложения с фляжками: http://flask.pocoo.org/docs/0.10/patterns/celery/ Я получаю такое же сообщение об ошибке, как создание, управление и удаление фоновых задач в флеш-приложении но я получаю его в фактическом работнике, где выполняется задача Сельдерея. Вот так: worker_1 | Traceback (most recent call last): worker_1 | File […]

добавление цветов к демону сельдерея?

Можно ли добавить цветок к демону сельдерея? Ниже мой конфигурационный файл celery, я попробовал добавить конфигурацию цветов к переменной CELERYD_OPTS, но она не удалась. или есть еще одна команда, которую я могу добавить в файл конфигурации, чтобы получить цветок и работать с сельдереем? # Names of nodes to start # most people will only start […]

Запуск цветка с помощью супервизора

У меня возникают проблемы с запуском цветка с помощью супервизора. Следующая команда в моей среде разработки работает на консоли celery –app=celery_conf.celeryapp flower –conf=flowerconfig но переходя к производству, чтобы использовать супервизор, я получаю всевозможные ошибки /supervisor/conf.d/flower.conf [program:flower] command=/opt/apps/venv/my_app/bin/celery flower –app=celery_conf.celeryapp –conf=flowerconfig directory=/opt/apps/my_app user=www-data autostart=true autorestart=false redirect_stderr=true stderr_logfile=/var/log/celery/flower.err.log stdout_logfile=/var/log/celery/flower.out.log С приведенной выше конфигурацией ошибок нет, но все, […]

Задача Python Celery завершена без бэкэнд

Я использую Celery 3.0.12. У меня две очереди: Q1, Q2. В общем, я поставил основную задачу в Q1, которые вызывают затем подзадачи, которые идут в Q2. Я не хочу хранить результаты для подзадач. Поэтому в моих подзадачах есть декоратор @ celery.task (ignore_results = True). Моя главная задача теперь должна подождать, пока закончится подзадача. Потому что […]

Как ограничить максимальное количество выполняемых задач сельдерея по имени

Как вы ограничиваете количество экземпляров конкретной задачи Сельделия, которая может выполняться одновременно? У меня есть задача, обрабатывающая большие файлы. Я столкнулся с проблемой, когда пользователь может запускать несколько задач, из-за чего у сервера заканчивается процессор и память, поскольку он пытается обрабатывать слишком много файлов одновременно. Я хочу, чтобы в любой момент времени выполнялись только N […]

Interesting Posts for Van-Lav

Не удалось загрузить модуль web в установке openERP7 на ubuntu 10.04

Первые 10 кратчайших путей на графике – Igraph 0.6 – Python 2.7

Не удалось распаковать изображение в OpenCV

Может ли luigi повторять задачи, когда зависимости задачи устаревают?

Как добавить журнал в файл с отметками времени на Python TCP Server для малины Pi

Сохраните изображение в файл изображения вместо его отображения с помощью Matplotlib

Как изменить документ по срокам dataframe в dataframe, который записывает документы, в которых появляется слово

ImageFont's getsize () не получает правильный размер текста?

Построение строки из dict в pySpark

Преобразователь географических координат

Jython говорит: «Нет видимых конструкторов для класса»

Загрузите пакет python с зависимостями без установки

Каков новейший способ разработки апплетов панели gnome (с использованием python)

Невозможно импортировать sqlite3 в Python3

Извлечение числа из строки в Python с регулярным выражением

Python - лучший язык программирования в мире.