Модели-имитации и революция открытых LLM-программ

Модели-имитации и революция открытых LLM-программ новые горизонты или старые традиции?

Действительно ли проприетарные LLM, такие как ChatGPT и GPT-4, легко воспроизводимы?

(Фото от Tanbir Mahmud в Unsplash)

Предложение набора LLaMA [2] больших языковых моделей (LLM) привело к всплеску публикаций по теме открытых исходных кодов LLM. Во многих случаях цель этих работ состояла в создании дешевых, открытых LLM (для научных целей), имеющих сравнимое качество с проприетарными моделями, такими как ChatGPT и GPT-4. Эти модели применяют стратегию имитации, которая настраивает базовую LLM на основе синтетических диалоговых данных более мощной LLM. Несмотря на их низкую стоимость обучения, эти модели казались выполняющими сопоставимо с проприетарными LLM, такими как ChatGPT. В результате научное сообщество глубокого обучения быстро приняло взгляд, что открытые LLM будут править будущим — производство открытых вариантов проприетарных моделей было и простым, и экономичным!

«Будут ли самые мощные LLM закрытыми или они будут свободно распространяться для всех, кто захочет их использовать, модифицировать и расширить?» — из [1]

К сожалению, предварительные оценки этих моделей, которые опирались на рейтинги, предоставленные другими LLM (например, GPT-4) или людскими исполнителями, были относительно поверхностными. Действительно ли производительность моделей имитации соответствует производительности моделей, таких как ChatGPT? Чтобы более строго ответить на этот вопрос, мы изучим недавние исследования, которые анализируют, удаляют ли эти дешевые репродукции мощных LLM «рвоту» вокруг проприетарных LLM. Интересно, что мы увидим, что эти дешевые репродукции мощных LLM хорошо проходят человеческие оценки благодаря своей способности усваивать стиль мощной LLM. Однако они лишены достоверности и плохо справляются с более широкими и целевыми оценками. На самом деле, модели имитации далеко не так хорошо выполняются, как проприетарные модели, такие как ChatGPT.

(из [1])

Имитация модели

«Основная идея имитации модели заключается в том, что после того, как собственный LM доступен через API, можно собрать набор выходных данных API и использовать его для настройки открытого LM.» — из [1]