В данной статье искусственный интеллект представляет новый персонализированный процесс дистилляции улучшение открытых моделей языка с помощью адаптивного обучения на основе закрытых моделей.

Интеллектуальный подход новая персонализированная дистилляция для улучшения языковых моделей с адаптивным обучением на основе закрытых моделей

Исследователи из Технологического университета Нанъянг в Сингапуре и Salesforce Research представляют персонализированный процесс дистилляции для задач генерации кода, в котором ученическая модель сначала пытается решить задачу, а затем получает адаптивное улучшение от модели учителя. Подход превосходит стандартные методы дистилляции, достигая превосходных результатов всего с третьей частью данных. Персонализированная дистилляция была протестирована на двух моделях генерации кода, CodeGen-mono-16B и StarCoder, что привело к значительному улучшению производительности в оценках HumanEval.

Исследование представляет персонализированную дистилляцию для задач генерации кода, новый подход, вдохновленный современными принципами обучения. В этом процессе ученическая модель сначала пытается выполнить задачу, получает адаптивное улучшение от модели учителя. Персонализированная дистилляция постоянно превосходит стандартные методы, достигая лучших результатов с только третьей частью данных. Эмпирические исследования подтверждают эффективность настроенных меток для обучения учеников. Такой подход значительно повышает производительность моделей предварительного обучения с открытым исходным кодом, включая CodeGen-mono-16B и StarCoder, в задачах генерации кода.

Метод решает ограничения закрытых моделей большого объема (LLM), таких как ChatGPT и GPT-4, касающиеся доступности, стоимости, этики и конфиденциальности данных. Он предлагает персонализированную дистилляцию для задач генерации кода, вдохновленную принципами индивидуального обучения. Подход включает ученическую модель, пытающуюся выполнить задачи, получающую обратную связь о выполнении и улучшающуюся с помощью руководства модели учителя. Персонализированная дистилляция превосходит стандартные методы, достигая превосходных результатов с меньшим количеством примеров данных и предлагая решение для переноса возможностей закрытых моделей LLM в меньшие модели с открытым исходным кодом.

• Изучите передовые техники оптимизации гиперпараметров с помощью автоматической настройки модели Amazon SageMaker.
• Познакомьтесь с моделью Skywork-13B семейством больших моделей языка (LLM), обученных на корпусе из более чем 3,2 трлн токенов, извлеченных из английских и китайских текстов.
• Создайте доверие и безопасность для генеративных приложений искусственного интеллекта с помощью Amazon Comprehend и LangChain.

В исследовании сравнивалась стандартная дистилляция (STAND) с двумя подходами: персонализированной дистилляцией (PERsD), где ученик сначала выполняет задачу и получает индивидуальную обратную связь от учителя, и персонализированной дистилляцией ввода (INPD), где персонализированы только входные задачи. Данные были собраны из кодовых альпак и задач из MBPP для предварительного обучения. Производительность оценивалась с помощью метрик, таких как pass@1 и HumanEval, для оценки эффективности методов.

PERsD постоянно превосходил стандартные методы дистилляции, такие как INPD и STAND, в задачах генерации кода, достигая значительного улучшения всего с третьей частью данных. Даже с тремя раза меньшим количеством данных PERsD превзошел STAND в 15 из 16 сценариев, демонстрируя эффективность индивидуальных меток данных. Многократное выполнение усовершенствовало качество ответа в моделях PERsD-refine и PERsD-combine, показывая их способность улучшать решения на основе обратной связи об ошибках выполнения. Смешивание неиндивидуальных меток с индивидуальными в целом имело негативное влияние, подчеркивая более высокое качество настроенных меток.

PERsD представил метод настройки маркированных данных для возможностей ученической модели, что приводит к более эффективному обучению. PERsD превзошел стандартные методы дистилляции в задачах генерации кода на HumanEval и наборах данных MBPP, используя более качественные данные, многоэтапную дистилляцию и автокоррекцию с помощью обратной связи об ошибках выполнения. Варианты PERsD постоянно превосходили неиндивидуализированные версии, что подчеркивает эффективность индивидуальных меток. Такой подход представляет собой многообещающее развитие в дистилляции возможностей закрытых моделей LLM в модели с открытым исходным кодом.

Исследуйте онлайн-персонализированную дистилляцию для динамического сбора данных во время настройки, что может улучшить ученические модели. Разработайте масштабируемые методы персонализированной дистилляции, не зависящие от аннотации человека, которые решат ограничения, такие как влияние смешивания индивидуализированных и неиндивидуализированных меток. Расширьте персонализированную дистилляцию на другие области для оценки ее эффективности. Также рассмотрите возможность использования ее для дистилляции возможностей закрытых моделей LLM в модели с открытым исходным кодом, продвигая развитие дистилляции моделей дальше.