Силиконовый волей дизайнеры используют генеративное искусственное интеллекта для поддержки чипов
Силиконовый дизайнер генеративное искусственное интеллекта в поддержку чипсов
В научной статье, опубликованной сегодня, описываются способы использования генеративного искусственного интеллекта для помощи в одной из самых сложных инженерных задач: разработке полупроводников.
Работа демонстрирует, как компании в высоконаправленных областях могут обучать большие языковые модели (LLM) на своих внутренних данных для создания помощников, повышающих производительность.
Немногие занятия столь же сложны, как разработка полупроводников. Под микроскопом такой современный чип, как NVIDIA H100 Tensor Core GPU (изображен выше), выглядит как хорошо продуманный мегаполис, построенный из десятков миллиардов транзисторов, соединенных улицами, толщиной в 10 000 раз меньше человеческого волоса.
Несколько инженерных команд координируются в течение двух лет, чтобы создать один из этих цифровых мегаполисов.
- Байден выпускает исполнительный приказ по искусственному интеллекту, требующий оценки безопасности, руководства по гражданским правам, исследований влияния на рынок труда
- Исследователи Колумбийского университета и Apple представляют Ferret Революционную мультимодальную языковую модель для продвинутого понимания и описания изображений.
- Исследователи НЮУ создали нейронную сеть для геномики, способную объяснить, как она достигает своих прогнозов.
Некоторые группы определяют общую архитектуру чипа, некоторые создают и размещают разнообразные ультрамалые электрические схемы, а другие тестируют свою работу. Каждая задача требует специализированных методов, программного обеспечения и компьютерных языков.
Широкое видение LLM
“Я считаю, что в долгосрочной перспективе большие языковые модели помогут во всех процессах, во всех направлениях”, – сказал директор исследовательского общества NVIDIA Марк Рен, являющийся главным автором статьи.
Билл Дэлли, главный ученый NVIDIA, анонсировал статью сегодня на открытии Международной конференции по компьютерному проектированию, ежегодной встрече сотен инженеров, работающих в области электронного проектирования или EDA.
“Это усилие является важным первым шагом в применении LLM в сложной работе по разработке полупроводников”, – сказал Дэлли на мероприятии в Сан-Франциско. “Это показывает, что даже высокоспециализированные области могут использовать свои внутренние данные для обучения полезным генеративным моделям искусственного интеллекта”.
ChipNeMo показывает результаты
В статье подробно описывается, как инженеры NVIDIA создали для своего внутреннего использования специальную языковую модель LLM, названную ChipNeMo, обученную на внутренних данных компании для генерации и оптимизации программного обеспечения и помощи человеческим разработчикам.
В долгосрочной перспективе инженеры надеются применить генеративный ИИ на каждом этапе проектирования чипа, что потенциально позволит достичь существенного повышения общей производительности, – сказал Рен, чей стаж работы в области EDA превышает 20 лет.
После опроса инженеров NVIDIA на предмет возможного использования LLM были выбраны три: чат-бот, генератор кода и инструмент анализа.
Первоначальные применения
Последний – инструмент, автоматизирующий трудоемкие задачи по поддержанию актуализированных описаний известных ошибок – получил наибольшее признание на данный момент.
Прототип чат-бота, отвечающий на вопросы о архитектуре и проектировании графических процессоров, помог многим инженерам быстро находить технические документы на ранних стадиях тестирования.
Генератор кода, разрабатываемый (показан выше), уже создает фрагменты программного обеспечения объемом примерно от 10 до 20 строк на двух специализированных языках, используемых для проектирования чипов. Он будет интегрирован с существующими инструментами, чтобы инженерам было удобно иметь помощника для находящихся в процессе разработки проектов.
Настройка моделей искусственного интеллекта с помощью NVIDIA NeMo
Статья в основном фокусируется на работе команды по сбору данных для проектирования и использованию их для создания специальной генеративной модели ИИ, процесс, который можно применить в любой отрасли.
В качестве отправной точки команда выбрала базовую модель и настроила ее с использованием NVIDIA NeMo, фреймворка для создания, настройки и развертывания генеративных моделей искусственного интеллекта, включенного в программную платформу NVIDIA AI Enterprise. Выбранная модель NeMo имеет 43 миллиарда параметров, это показывает ее способность понимать паттерны. Она была обучена с использованием более чем триллиона токенов – слов и символов в тексте и программном обеспечении.
Команда затем усовершенствовала модель в два раунда обучения, первый из которых использовал около 24 миллиардов токенов связанных с внутренними данными дизайна, а второй — смесь примеров разговоров и дизайна, состоящую из примерно 130 000.
Эта работа является одним из многих примеров исследований и концептов генеративного искусственного интеллекта в полупроводниковой промышленности, только начинающих появляться из лабораторий.
Обмен Опытом
Одним из самых важных уроков, извлеченных командой Рена, является ценность настройки на собственные нужды LLM.
При выполнении задач по проектированию чипов, пользовательские модели ChipNeMo с объемом всего 13 миллиардов параметров соответствуют или превосходят результативность гораздо больших универсальных LLM-моделей, таких как LLaMA2 с 70 миллиардами параметров. В некоторых случаях модели ChipNeMo демонстрируют значительно более высокую эффективность.
На протяжении всего пути пользователи должны быть внимательными к собираемым данным и способам их очистки для обучения, добавил он.
Наконец, Рен советует пользователям быть в курсе последних инструментов, которые могут ускорить и упростить работу.
NVIDIA Research объединяет сотни ученых и инженеров со всего мира, занимающихся такими темами, как искусственный интеллект, компьютерная графика, компьютерное зрение, автономные автомобили и робототехника. Другие недавние проекты в сфере полупроводников включают использование ИИ для проектирования более компактных и быстрых схем и оптимизации размещения крупных блоков.
Компании, которые хотят создать свои собственные пользовательские LLM, могут начать сегодня, используя фреймворк NeMo, доступный на GitHub и в каталоге NVIDIA NGC.
