Microsoft выпускает Orca 2 предводительство в передовом мышлении в меньших языковых моделях с индивидуальными стратегиями обучения

Microsoft представляет Orca 2 новое поколение передовых языковых моделей с индивидуальными стратегиями обучения

Большие языковые модели (Large Language Models) обучаются на объемных текстовых данных, чтобы понимать и производить язык, похожий на язык людей. GPT-3, GPT-4 и PaLM-2 – лишь несколько примеров таких моделей. Эти модели выполняют сложные языковые задачи, включая генерацию текста, разговорное взаимодействие и ответы на вопросы. Они применяются в различных областях, улучшая пользовательский опыт в чат-ботах, программировании, поиске веб-страниц, поддержке клиентов и создании контента.

Однако по мере того, как сообщество искусственного интеллекта углубляется в обширное пространство меньших моделей, Microsoft представляет следующую версию Orca, называемую Orca 2, разработанную для расширения возможностей компактных моделей искусственного интеллекта. Orca 1, с помощью тщательных объяснений и следов, превосходит традиционные модели, настроенные на инструкции, в производительности на сложных показателях, таких как BigBench Hard и AGIEval. Orca 2 еще больше углубляется в потенциал улучшения способностей меньших языковых моделей при помощи улучшенных сигналов обучения для повышения их рассуждений.

Имитационное обучение стало популярным подходом в совершенствовании малых языковых моделей. Эти меньшие модели часто нуждаются в развитии навыков рассуждения и понимания, хотя они способны производить контент так же, как и их учителя. Хотя имитационное обучение имеет свои преимущества, оно имеет недостатки, которые могут ограничивать способности меньших моделей достичь своего полного потенциала, а также мешают использовать наилучшие возможные решения, учитывая конкретную проблему и возможности модели. Они часто нуждаются в помощи в сравнении с навыками рассуждения и понимания их более крупных аналогов, что ограничивает их полный потенциал.

Вместо простой имитации Orca инструктирует модель в различных методах рассуждения. Это включает пошаговую обработку, вспомнить, а затем сгенерировать, вспомнить-рассуждать-сгенерировать и прямые ответы. Цель заключается в том, чтобы помочь модели освоить способность различать наиболее эффективную стратегию решения, адаптированную к особенностям каждой конкретной задачи.

Нулевая рассуждательная способность Orca 2 подчеркивает возможность улучшения меньших нейронных сетей. Microsoft продолжает считать, что специализированные методы обучения, такие как используемые в Orca 2, могут открыть новые полезные применения. Этот метод стремится улучшить эффективность таких нейронных сетей.

Самое главное, Orca 2 защищена от начальных подсказок, которые вызывали определенное поведение во время обучения. С помощью инновационного метода “Prompt Erasure” Orca 2 превращается в осторожного рассуждающего. В отличие от слепой имитации, этот метод использует более крупные модели в качестве источника поведения, из которых выбираются лучшие для данной задачи.

Исследователи протестировали Orca 2 на всесторонних показателях. Они показали, что эта модель превосходит другие аналогичные модели, касающиеся понимания языка, рассуждения на основе здравого смысла, многошаговых математических задач, понимания текста, суммирования и многого другого. Например, в задачах нулевого рассуждения Orca 2-13B достигает более 25% более высокой точности, чем сопоставимые модели 13B, и находится на уровне модели 70B.

Orca 2 представляет собой значительный прогресс в развитии малых языковых моделей. Отказ от традиционного имитационного обучения в сочетании с фокусировкой на обучении разнообразным методам рассуждения демонстрирует новый подход к раскрытию потенциала компактных моделей искусственного интеллекта.