Исследователи Университета Цюриха представляют Swift автономный беспилотный дрон, основанный на зрительном восприятии, способный обыгрывать человеческих чемпионов мира в нескольких справедливых гонках один на один.

Университет Цюриха создал автономный беспилотный дрон Swift, который использует зрительное восприятие и может победить чемпионов мира в гонках.

Соревнования дронов с видом от первого лица (FPV) – это захватывающий и быстро развивающийся вид спорта, в котором пилоты управляют гоночными дронами с помощью специализированных очков FPV. Дроны оснащены мощными двигателями, легкими рамами и высококачественными камерами для передачи видео с низкой задержкой в этом виде спорта. Пилоты носят очки FPV, которые обеспечивают прямую трансляцию видео с камеры дрона. Этот захватывающий опыт позволяет им видеть то, что видит дрон в режиме реального времени.

Можем ли мы иметь автономный мобильный дрон, который сможет победить человеческих чемпионов в гонке? Исследователи группы по робототехнике и восприятию Университета Цюриха создали дроновую систему под названием “SWIFT”, которая может соревноваться с физическими транспортными средствами на уровне чемпионов мира. Swift может летать на своих физических пределах, одновременно оценивая свою скорость и местоположение на трассе с помощью датчиков.

Swift объединяет глубокое обучение с подкреплением (RL) в симуляции с данными, собранными из реального мира. Он состоит из системы восприятия, которая преобразует высокоразмерное представление, и системы управления, которая обрабатывает низкоразмерное представление, созданное системой восприятия, и имеет управляющие команды.

• Исследователи из Виргинского технологического института и Microsoft представляют алгоритм мышления подход искусственного интеллекта, который улучшает исследование идей и способность рассуждать в больших языковых моделях (LLM).
• Исследовательский агент Решение проблемы ответов на вопросы на основе большого текстового корпуса
• Исследователи из НЙУ разработали новую технику искусственного интеллекта для изменения видимого возраста человека на изображениях, сохраняя при этом его уникальные идентифицирующие особенности.

Система восприятия включает в себя визуально-инерциальный оценщик и детектор ворот (CNN, обнаруживающий гоночные ворота). Обнаруженные ворота далее используются для оценки траекторий дрона, а также ориентации, необходимой для движения по трассе. Swift выполняет этот анализ с помощью алгоритма камерного решения в сочетании с картой трассы. Для получения более точной ориентации дрона они используют глобальную позу, полученную от детектора ворот, в сочетании с визуально-инерциальным оценщиком, использующим фильтр.

Система управления состоит из двухслойных перцептронов, которые отображают выход фильтра в управляющие команды дрона и максимизируют цель восприятия, сохраняя следующие ворота в поле зрения камеры. Видеть следующие ворота обнадеживает, потому что это увеличивает точность оценки позы. Однако оптимизация этих методов исключительно в симуляции приведет к плохой производительности, если есть расхождения между симуляцией и реальностью.

Различия между имитированными и реальными динамиками вызовут выбор неправильных траекторий дрона, что может привести к аварии. Еще одним фактором, влияющим на безопасные траектории, является шумная оценка состояния дрона. Команда устраняет эти дефекты, собирая небольшое количество данных в реальном мире и используя эти данные для увеличения реалистичности симулятора. Они записывают данные, используя бортовые датчики с высокой точностью оценок от системы захвата движения, пока дрон проходит по трассе.

Исследователи говорят, что Swift выигрывает большинство гонок против каждого пилота и устанавливает самое быстрое время гонки, опережая лучшее время, установленное человеческим пилотом, на полсекунды. Они говорят, что он постоянно быстрее человеческих пилотов на поворотах и имеет меньшее время реакции при взлете с пьедестала, в среднем на 120 мс быстрее человеческих пилотов.