Airflow 2.7 теперь доступен

Airflow 2.7 доступен

Вот самые важные обновления функций, которые сделают вашу жизнь проще и сэкономят время

Изображение, созданное с использованием DALL-E-2 по запросу «поток данных из внешней системы в систему назначения в виде графика системного проектирования, цифровое искусство»

Наконец, вышла Apache Airflow 2.7.0, и мы все с нетерпением ждем выхода всех этих значимых функций в этом последнем релизе. Новая версия включает 40 новых функций, 53 исправления ошибок, 49 улучшений и 15 обновлений документации.

Основное внимание в этом релизе уделялось безопасности, но в то же время также было предоставлено много интересных функций, не связанных с безопасностью.

Новый интерфейс активности кластера

Начиная с версии Airflow 2.7.0, в верхнем уровне меню Airflow UI появляется новая вкладка под названием Активность кластера.

Новый интерфейс активности кластера дает общий обзор состояния всего кластера, включая состояние компонентов (для метабазы данных, планировщика, триггера и процессора DAG), а также сведения о состоянии выполнения DAG/задач и типах запуска DAG.

Новый интерфейс активности кластера поставляется вместе с новым выпуском Airflow 2.7.0 — Источник: Автор

Узнайте, когда был последний парсинг исходного кода

Раньше меня действительно раздражало то, что я не мог видеть, действительно ли изменения, которые я вносил в исходный код определенного DAG, были обработаны. Обычно мне приходилось обновлять страницу (несколько раз) и начинать искать конкретные места в исходном коде, в которых я вносил изменения, чтобы убедиться, что они были обработаны, чтобы я мог перезапустить DAG.

Новая версия Airflow вводит поле Парсинг в во вкладке “Код” DAG, указывающее метку времени последнего обновления исходного кода DAG.

Новая вкладка кода включает временную метку, указывающую, когда был последний раз обработан исходный код DAG — Источник: Автор

Простое, но полезное дополнение!

Поддержка клавиатурных ярлыков

Теперь в Airflow Grid view также поддерживаются клавиатурные ярлыки. Как только вы войдете в сетку DAG, вы заметите заметку прямо под секцией фильтрации, указывающую, что вы можете получить доступ к списку поддерживаемых ярлыков…