Порядок имеет значение Как искусственный интеллект борется с обратным порядком

Значение порядка борьба искусственного интеллекта с обратным порядком

|ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ| БОЛЬШИЕ ЯЗЫКОВЫЕ МОДЕЛИ|

Как и почему обратное проклятие влияет на большие языковые модели

Фотография: Andre Taissin на Unsplash

Большие языковые модели (ЯМ) ворвались в мир. Кажется, что они каждый день продемонстрировали все более и более впечатляющие возможности, но у них нет никаких ограничений? Казалось бы, нет, но в некоторых случаях они все же терпят неудачи.

Очевидное – не так просто.

Фотография: Sigmund на Unsplash

Мы привыкли к невероятной производительности моделей, способных генерировать сложный код или тексты с невероятной скоростью, и некоторые исследователи предложили даже идею, что они могут быть сознательными.

Тем не менее, также есть отчеты, где ЯМ способны произвести впечатляющую ошибку. В некоторых предыдущих исследованиях авторы отмечали, что существуют некоторые случаи программирования, с которыми модели не справляются. Или ЯМ борются с сарказмом (для справедливости, несколько людей тоже).

Смешной ли искусственный интеллект? Может быть, немного

Почему искусственный интеллект до сих пор борется с юмором и почему это важный шаг

levelup.gitconnected.com

Недавно была опубликована статья, в которой удивительно показано, как ЯМ не могут обобщать таким образом, как это считается тривиальной задачей для людей:

Если человек узнает факт “Олаф Шольц был девятым канцлером Германии”, он также может правильно ответить на вопрос “Кто был девятым канцлером Германии?”. Это такая элементарная форма обобщения, что кажется тривиальной. Однако мы показываем, что авторегрессионные языковые модели не могут обобщать таким образом. (источник)

Если модели обучаются на тексте с формой “<имя> является <описание>”, модель может не суметь предсказать противоположное “<описание> является <имя>” (или в логической форме, если A есть B, то B есть A).

источник изображения: здесь