Duck AI представляет DuckTrack коллектор данных для мультимодального взаимодействия с компьютером

Duck AI представляет DuckTrack устройство для сбора данных для многомодального взаимодействия с компьютером

Точное и аккуратное отслеживание взаимодействия пользователей является основополагающим фактором для развития возможностей компьютерных агентов. Эта задача играет ключевую роль в разработке и обучении интеллектуальных систем. Эффективность этих систем, которые предназначены для подражания когнитивным процессам и выполнения задач независимо, зависит от тщательного и систематического изучения взаимодействия пользователей и записи этих данных.

Исследователи Duck AI разработали DuckTrack для точного записи различных входных данных, чтобы компьютерные агенты могли быть правильно обучены на собранных данных. DuckTrack предлагает синхронизированную коллекцию данных о движении мыши, клавиатуре, видео экрана и звуке через удобное для пользователя приложение для настольных компьютеров, совместимое с основными операционными системами.

Кроме того, DuckTrack инициировало Инициативу по сбору данных сообщества. Это усилие с открытым исходным кодом приглашает участников принять участие в сборе разнообразных данных о взаимодействии с компьютером. DuckTrack отлично работает на всех основных операционных системах и создан на языке Python. Обзор возможностей DuckTrack демонстрирует его способность точно и аккуратно записывать и воспроизводить действия мыши и клавиатуры. Исследователи говорят, что интеграция записи экрана с OBS дополнительно улучшает его гибкость.

• Вопросы на собеседование по Data Engineering
• Какую роль должен играть искусственный интеллект в здравоохранении?
• Сочетание нескольких адаптеров LoRA для Llama 2

Для DeepTruck Структурный индекс сходства (SSIM) в задачах рисования систематически превышает 0,9. Каждое событие записывается с низкой ошибкой в пределах 0,03 мс ± 0,4 мс, превосходя точность существующих трекеров на рынке. Приверженность DuckTrack к превосходству очевидна в его показателях производительности, что делает его надежным выбором для пользователей, ищущих решения для отслеживания и воспроизведения самого высокого уровня.

Но у DuckTrack есть определенные ограничения. Реалистичное подражание двойным или тройным щелчкам во время воспроизведения представляет собой вызов, влияющий на точность этих действий. Кроме того, DuckTrack не может записывать жесты трекпада и имеет ограничения при записи входных данных в ситуациях, связанных с сырой информацией, например, в играх. Разработчики активно работают над устранением этих ограничений и улучшением возможностей DuckTrack, продолжая взаимодействовать с сообществом.

Исследователи протестировали DuckTrack на разных системах, включая M2 Pro MBP 14 с macOS Sonoma 14.0 и Intel i7-10510U System76 Lemur Pro 9 с PopOS! 22.10 (на основе Ubuntu) и Windows 10 22H2. Они протестировали DuckTrack на задаче ReCAPTCHA, являющейся прокси для подражания человекоподобному движению, и пришли к выводу, что он демонстрировал 100% успеха в десяти испытаниях. В то время как аппаратные отличия могут слегка влиять на производительность, однородность в точности в различных операционных системах подчеркивает надежность DuckTrack.

В ближайшее время исследователи объявят подробные руководства по внесению вклада и настройке сбора данных, поощряя коллективные усилия по совершенствованию и развитию функциональности DuckTrack.

DuckTrack оказывается революционным в сборе данных о взаимодействии с компьютером. Благодаря своей преданности точности, непрерывному участию сообщества и упору на совершенствование, DuckTrack является лучшим выбором для людей и бизнеса, ищущих отличные возможности воспроизведения и отслеживания. DuckTrack предлагает более сложный и беспрепятственный многомодальный опыт взаимодействия с компьютером по мере своего развития.

Скачайте готовое приложение для вашей системы здесь.