«Эта статья о ИИ раскрывает DeWave Революционизация перевода ЭЭГ в текст с помощью новой ИИ-платформы для открытых словарей БКИ»

«DeWave революционный перевод ЭЭГ в текст с помощью новой ИИ-платформы для открытых словарей БКИ»

Исследователи в Графенекс-UTS Центре искусственного интеллекта, сосредоточенном на человеке (Университет технологии Сиднея (UTS)), разработали замечательную систему, способную расшифровывать бесзвучные мысли и преобразовывать их в письменный текст. Эта технология имеет потенциал для применения в улучшении коммуникации для людей, неспособных говорить из-за состояний, таких как инсульт или паралич, и обеспечения более эффективного взаимодействия между людьми и машинами.

Представленная в качестве обзорной статьи на конференции NeurIPS в Новом Орлеане, исследовательская команда представляет портативную и неинвазивную систему. Команда центра GrapheneX-UTS HAI сотрудничала с участниками из факультета инженерии и информационных технологий Университета технологии Сиднея, чтобы создать метод, который переводит мозговые сигналы в понятный текст без инвазивных процедур.

Во время исследования участники молча читали текстовые отрывки, надевая специализированную шапку с электродами для записи электрической активности мозга с помощью электроэнцефалограммы (ЭЭГ). Захваченные данные ЭЭГ обрабатывались с использованием искусственной нейронной сети с названием DeWave, разработанной исследователями, которая преобразует эти мозговые сигналы в понятные слова и предложения.

Исследователи подчеркнули важность этого инновационного подхода в прямом преобразовании сырых ЭЭГ-волн в язык, выделяя интеграцию методов дискретного кодирования в процесс перевода с мозга на текст. Этот подход открывает новые возможности в области нейронауки и искусственного интеллекта.

В отличие от ранее использованных технологий, требующих инвазивных процедур, таких как импланты в мозге или использование аппаратов МРТ, система команды предлагает неинтрализующую и практическую альтернативу. Важно отметить, что она не зависит от отслеживания глаз, что позволяет ей быть более гибкой в повседневном использовании.

В рамках исследования участвовали 29 человек, что обеспечивает более высокий уровень надежности и адаптируемости по сравнению с предыдущими исследованиями, проводимыми на одном-двух участниках. Хотя использование шапки для сбора ЭЭГ-сигналов вводит шум, исследование сообщает о превосходной производительности в переводе ЭЭГ, превышающей предыдущие показатели.

Команда выделила умение модели лучше соотносить глаголы, чем существительные. Однако, в случае расшифровки существительных, система демонстрировала тенденцию к использованию синонимичных пар вместо точных переводов. Исследователи объяснили, что семантически похожие слова могут вызывать схожие паттерны мозговых волн в процессе обработки слов.

Текущая точность перевода, измеренная по показателю BLEU-1, составляет около 40%. Исследователи стремятся повысить этот показатель до уровней, сравнимых с традиционными программами перевода языка или распознавания речи, которые обычно достигают точности около 90%.

Это исследование строит на основе предыдущих достижений в технологии интерфейса мозг-компьютер Университета технологии Сиднея, указывая на большой потенциал для революции в коммуникационных возможностях для людей, ранее ограниченных физическими препятствиями.

Результаты этого исследования обещают облегчить беспрепятственный перевод мыслей в слова, оснащая людей, сталкивающихся с преградами в коммуникации, и способствуя более эффективному взаимодействию между людьми и машинами.