«Почему модель Orca-2 искусственного интеллекта Microsoft является значительным шагом в сторону устойчивого ИИ?»

«Orca-2 Важный вклад в устойчивый ИИ от Microsoft»

Несмотря на значительные достижения искусственного интеллекта в последнее десятилетие, включая победу над человеческими чемпионами в стратегических играх, таких как шахматы и Го и предсказание 3D-структуры белков, широкое использование больших языковых моделей (LLM) ознаменовывает смену парадигмы. Эти модели, готовые к трансформации взаимодействия человека с компьютером, стали неотъемлемыми в различных отраслях, включая образование, обслуживание клиентов, поиск информации, разработку программного обеспечения, медиа и здравоохранение. Несмотря на то, что эти технологические достижения открывают научные прорывы и стимулируют промышленный рост, существуют значительные негативные последствия для планеты.

Процесс обучения и использования LLM требует огромного количества энергии, что приводит к существенному негативному влиянию на окружающую среду, обозначаемому увеличением выбросов углекислого газа и парниковых газов. Недавнее исследование из Института информационных наук и компьютерных наук Университета Массачусетса в Амхерсте показало, что обучение LLM может вызвать выбросы более 626 000 фунтов углекислого газа, что примерно эквивалентно выпуску пяти автомобилей за их жизненный цикл. Компания Hugging Face, занимающаяся искусственным интеллектом, обнаружила, что обучение модели BLOOM, большой языковой модели, запущенной ранее в этом году, привело к выбросу 25 метрических тонн углекислого газа. Аналогично, искусственная интеллект-модель Facebook, Meena, накапливает выбросы, эквивалентные выбросам, вызванным автомобилем при преодолении более 240 000 миль в процессе ее обучения.

Помимо обучения LLM, спрос на облачные вычисления, неотъемлемые для LLM, теперь приводит к большему количеству выбросов, чем воздушная индустрия в целом. Один центр обработки данных может потреблять столько же энергии, сколько 50 000 домов. Другое исследование подчеркивает, что обучение одной большой языковой модели может вызвать выбросы такого же количества CO2, как пяти автомобилей, использующих энергию на протяжении всей их жизни. Прогнозы свидетельствуют о том, что выбросы искусственного интеллекта вырастут на 300% к 2025 году, что подчеркивает неотложность сбалансированного прогресса в области искусственного интеллекта с ответственностью перед окружающей средой и способствует инициативам по созданию более экологичного искусственного интеллекта. В связи с негативным негативным влиянием прогресса разработки искусственного интеллекта на окружающую среду возникает понятие устойчивого искусственного интеллекта как важной области исследования.

Устойчивый искусственный интеллект

Устойчивый искусственный интеллект представляет собой смену парадигмы в разработке и внедрении систем искусственного интеллекта, с акцентом на минимизации негативного воздействия на окружающую среду, этических соображений и долгосрочных общественных выгодах. Подход направлен на создание интеллектуальных систем, энергоэффективных, экологически ответственных и соответствующих человеческим ценностям. Устойчивый искусственный интеллект фокусируется на использовании чистой энергии для компьютеров, умных алгоритмах, потребляющих меньше энергии, и соблюдении этических стандартов для обеспечения справедливых и прозрачных решений. Следует отметить разницу между искусственным интеллектом для устойчивости и устойчивым искусственным интеллектом; первое может включать использование искусственного интеллекта для оптимизации существующих процессов без учета их окружающей среды или общественных последствий, в то время как второе активно интегрирует принципы устойчивости на всех этапах разработки искусственного интеллекта, от проектирования до внедрения, для создания положительного и долговременного воздействия на планету и общество.

• Детерминистический против стохастического – фундаментальные принципы машинного обучения
• Познакомьтесь с GigaGPT реализацией Cerebras наноГПТ Андрея Карпати, которая обучает модели искусственного интеллекта размером GPT-3 всего за 565 строк кода.
• Декодирование vLLM стратегии для повышения эффективности ваших выводов языковой модели

От LLM к небольшим языковым моделям (SLM)

В стремлении к устойчивому искусственному интеллекту Microsoft работает над разработкой небольших языковых моделей (SLM), соответствующих возможностям больших языковых моделей (LLM). В этом усилии они недавно представили Orca-2, разработанную для рассуждения, подобного GPT-4. В отличие от предшественника, Orca-1 с 13 миллиардами параметров, Orca-2 содержит 7 миллиардов параметров с использованием двух ключевых техник.

1. Настройка инструкций: Orca-2 улучшает свои навыки, изучая примеры, повышая качество контента, нулевые возможности и рассуждения по различным задачам.
2. Настройка объяснений: Учитывая ограничения настройки инструкций, Orca-2 вводит настройку объяснений. Это включает создание подробных объяснений для учительских моделей, обогащение сигналов рассуждений и общее улучшение понимания.

Orca-2 использует эти техники для достижения высокоэффективного рассуждения, сравнимого с тем, что достигают LLM-модели со значительно большим количеством параметров. Основная идея заключается в том, чтобы позволить модели найти лучший способ решения проблемы, будь то дать быстрый ответ или проработать ее пошагово. Microsoft называет это «осторожным рассуждением».

Для обучения Orca-2 Microsoft создает новый набор тренировочных данных, использующих FLAN-аннотации, Orca-1 и набор данных Orca-2. Они начинают с легких вопросов, добавляют некоторые сложные и затем используют данные от моделей разговора, чтобы сделать их еще более умными.

Orca-2 проходит тщательное оценивание, охватывающее рассуждения, заполнение текста, связывание, достоверность и безопасность. Результаты показывают потенциал улучшения рассуждений SLM через специализированное обучение на синтетических данных. Несмотря на некоторые ограничения, модели Orca-2 обещают будущее улучшение рассуждений, управления и безопасности, доказывая эффективность стратегического применения синтетических данных при отработке модели после обучения.

Значимость Orca-2 для устойчивого искусственного интеллекта

Orca-2 представляет собой значительный скачок в направлении устойчивого ИИ, оспаривая утверждение о том, что только более крупные модели с их значительным энергопотреблением могут действительно продвигать возможности ИИ. Эта небольшая языковая модель предлагает альтернативную точку зрения, указывая на то, что достижение превосходства в языковых моделях не требует огромных наборов данных и обширных вычислительных мощностей. Вместо этого она подчеркивает важность интеллектуального дизайна и эффективной интеграции.

Этот прорыв открывает новые возможности, отстаивая сдвиг в фокусе – от простого увеличения ИИ к концентрации на том, как мы его проектируем. Это является ключевым шагом в обеспечении более широкого доступа к передовому ИИ для более широкой аудитории, гарантируя, что инновации будут включительными и достигнут более широкий круг людей и организаций.

Orca-2 имеет потенциал значительно повлиять на развитие будущих языковых моделей. Будь то улучшение задач, связанных с обработкой естественного языка или расширение возможностей более сложных применений ИИ в различных отраслях, эти меньшие модели готовы привнести значительные позитивные изменения. Более того, они являются пионерами в поощрении более устойчивых практик в области ИИ, связывающих технологический прогресс с ответственностью перед окружающей средой.

Итоговый вывод:

Orca-2 от Microsoft представляет собой прорыв в направлении устойчивого искусственного интеллекта, оспаривая убеждение в том, что только большие модели могут продвигать ИИ. Приоритезация интеллектуального дизайна над размером открывает новые возможности, предлагая более включительный и экологически ответственный подход к развитию передового ИИ. Этот сдвиг является значительным шагом в сторону новой парадигмы проектирования интеллектуальных систем.