Повысьте производительность искусственного интеллекта с помощью тонкой настройки

Улучшите производительность ИИ с помощью настройки

Адаптация LLMs для выполнения конкретных задач!

Опубликовано первоначально на louisbouchard.ai, прочитайте его за 2 дня до моего блога!

Смотрите видео:

Мы можем адаптировать большие языковые модели для выполнения любых задач. Оно может стать вашим персональным помощником, отвечающим на все ваши электронные письма, или вашим будущим юристом. Вы можете заставить их делать все, что хотите. Но как это сделать? Калибровка! Давайте рассмотрим, что это такое, как оно работает и, самое главное, как сделать это супер легко с отличной компанией, с которой я работал: Gradient, удивительной платформой для людей, подобных вам и мне, которые хотят создавать и разворачивать модели искусственного интеллекта.

Калибровка чрезвычайно важна, когда речь идет практически обо всех искусственных интеллектах, особенно о больших языковых моделях. Это, по сути, процесс взятия очень мощной общей модели, например, GPT-4, и превращения ее в эксперта в конкретной задаче. В некотором смысле это похоже на поступление в среднюю школу, затем в университет, получение степени магистра и докторской степени. Вы начинаете с очень общих знаний, строите хорошую базу и итеративно совершенствуете ее в более узком и узком случае использования, где вы становитесь настоящим экспертом.

Мне не нужно убеждать вас, насколько мощные уже являются GPT-4 и другие большие языковые модели, но они далеки от идеальных для специализированных задач, и один из лучших способов сделать их такими экспертами – это калибровка с использованием экспертных знаний. Это означает переобучение частей модели на ту конкретную задачу, которую мы хотим, чтобы она выполнила, что намного дешевле, чем обучение модели с нуля.

• 7 способов создать матрицу корреляции в Python
• 15 лучших ChatGPT-запросов для Twitter (X)
• Получайте деньги трансляции ‘PAYDAY 3’ на GeForce NOW

Например, GPT-4 уже имеет некоторые хорошие медицинские знания благодаря интернету, но они далеко не идеальны. Это похоже на то, как задать вопрос о странном прыще, который у вас есть, и нажать на первую ссылку, которая появится. Нет, это, вероятно, не рак, как говорится.

Вместо этого вы можете собрать тонны медицинских книг и словарей и предоставить это GPT-4, чтобы он учился только из них, переходя от общего знания к специализированному. Он потеряет некоторые общие возможности, как любой гений или эксперт в своей области. Большое количество времени, вложенное в определенную область, определенно компенсирует это в других аспектах. Однако, если вам нужно быть лучшим в чем-то, это…