Топ-10 исследовательских статей о генетическом искусственном интеллекте

10 лучших исследовательских статей о генетическом искусственном интеллекте

Введение

В постоянно развивающемся мире понимания естественного языка исследователи продолжают расширять границы возможного с помощью инновационных подходов. В этой статье мы затронем ряд прорывных научных статей о генеративном искусственном интеллекте (GenAI). Они исследуют различные аспекты языковых моделей, от улучшения соответствия предпочтениям людей до синтеза трехмерного контента по текстовым описаниям. Принося вклад в научный дискурс, эти исследования также предлагают практические идеи, которые могут сформировать будущее обработки естественного языка. Погрузимся в путешествие по этим просветляющим исследованиям.

Топ 10 научных статей о GenAI

Вот наши топ 10 выборов из сотен научных статей, опубликованных о GenAI.

1. Улучшение понимания языка с помощью генеративного предварительного обучения

Эта научная статья исследует полуобученный подход к улучшению задач понимания естественного языка путем сочетания безуправного предварительного обучения и контролируемого настройки. В работе используется беззадачная модель на основе архитектуры Transformer. Это демонстрирует, что генеративное предварительное обучение на разнообразных неразмеченных текстах, а затем дискриминативное донастройка, значительно улучшает результаты на различных показателях понимания языка.

Модель достигает значительных улучшений, например, 8,9% в понимании здравого смысла, 5,7% в вопросно-ответных системах и 1,5% в логической заключительности. Полученные результаты подчеркивают эффективность использования больших неразмеченных корпусов для предварительного обучения и приспособленных к задаче преобразований входных данных при донастройке. Они предлагают ценные выводы для развития безуправного обучения в обработке естественного языка и других областях.

• Это исследование искусственного интеллекта представляет всеобъемлющий обзор больших языковых моделей (LLM) на графах.
• Исследователи из Стэнфордского университета представляют новый фреймворк искусственного интеллекта, направленный на улучшение интерпретируемости и генеративных возможностей текущих моделей для различных визуальных концепций.
• Нью-Йорк планирует инвестировать 1 миллиард долларов в расширение исследований по чипам

Ссылка на статью: https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf

2. Обучение с подкреплением с помощью обратной связи от человека: изучение динамических выборов через пессимизм

Эта научная статья о генеративном искусственном интеллекте углубляется в сложную область офлайн обучения с подкреплением с обратной связью от человека (RLHF). Ее целью является определение основной награды человека и оптимальной политики в процессе принятия решений Маркова (MDP) на основе набора траекторий, повлиянных на человеческий выбор. В работе рассматривается динамическая модель дискретного выбора (DDC), основанная на эконометрике, для моделирования принятия человеческих решений с ограниченной рациональностью.

Предложенный метод Dynamic-Choice-Pessimistic-Policy-Optimization (DCPPO) включает три этапа: оценку поведения человека и функции стоимости, восстановление награды человека и запуск пессимистичной итерации по стоимости для приближенно оптимальной политики. В статье предоставляются теоретические гарантии для офлайн RLHF с моделью динамического дискретного выбора. Работа предлагает решения проблем сдвигов распределения и многомерности в контексте неоптимальности.

Ссылка на статью: https://arxiv.org/abs/2305.18438

3. Нейронная вероятностная языковая модель

Научная статья решает проблему статистического языкового моделирования, связанную с проклятием размерности, подчеркивая сложность обобщения на невидимые последовательности слов. Предложенное решение включает в себя обучение распределенных представлений для слов, позволяющих каждому обучающему предложению информировать модель о семантически близких предложениях. Сочетая в себе обучение представлений слов и функции вероятности последовательностей слов, модель достигает улучшенного обобщения.

Экспериментальные результаты, полученные с использованием нейронных сетей, демонстрируют значительные улучшения по сравнению с моделями n-грамм, подтверждая эффективность подхода в использовании более длинных контекстов. В статье делаются выводы о потенциальных будущих улучшениях, при этом подчеркивается возможность модели бороться с проблемами размерности с помощью изученных распределенных представлений.

Ссылка на статью: https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf

4. BERT: Предварительное обучение глубоких двунаправленных трансформеров для понимания языка

Исследовательская статья GenAI представляет BERT, революционную модель представления языка, разработанную для двунаправленного предварительного обучения на неразмеченном тексте. В отличие от предыдущих моделей, BERT учитывает как левый, так и правый контекст на всех уровнях, что позволяет легко настраивать с минимальными модификациями для конкретной задачи. BERT достигает передовых результатов в различных задачах обработки естественного языка, демонстрируя свою простоту и эмпирическую мощь.

В статье рассматриваются ограничения существующих методов, подчеркивается важность двунаправленного предварительного обучения для представления языка. Маскированная модель языка BERT облегчает глубокое двунаправленное предварительное обучение на трансформаторах, уменьшая зависимость от конкретных архитектур задачи и приводя к прогрессу в одиннадцати NLP-задачах.

Вы можете найти статью здесь: https://arxiv.org/pdf/1810.04805.pdf

5. Улучшение выравнивания агентов диалога с помощью целевых оценок человека

В исследовательской статье рассматривается задача выравнивания систем машинного обучения, в частности, агентов диалога с предпочтениями человека и этическими показателями. Сосредотачиваясь на диалогах, направленных на получение информации, авторы представляют модель Sparrow, которая использует целевые оценки людей для направления обучения при помощи многокритериального обучения с подкреплением от обратной связи человека (RLHF).

Sparrow обладает улучшенной устойчивостью к противникам и повышенной правильностью и проверяемостью благодаря использованию встроенных доказательств. Однако в исследовании также выявлены проблемы, связанные с справедливостью распределения. В заключении подчеркивается необходимость дальнейшего развития методов, включая многошаговое рассуждение, привлечение экспертов и когнитивную науку, для достижения глубинного построения полезных, правильных и безопасных агентов.

Вы можете найти статью здесь: https://arxiv.org/pdf/2209.14375.pdf

6. Обучение языковых моделей следовать инструкциям с помощью обратной связи человека

В данной исследовательской статье по генеративному искусственному интеллекту рассматривается мнение о том, что более крупные языковые модели inhерентно лучше понимают и следуют намерениям пользователя. В работе утверждается, что несмотря на их размер, большие модели могут создавать недостоверные, токсичные и бесполезные результаты. Для решения этой проблемы авторы предложили метод выравнивания языковых моделей с помощью обратной связи от людей. Они создали набор данных для обучения модели, используя обучение с учителем на основе демонстраций меток.

После этого был собран набор данных с рейтингами выходных данных модели и он использовался для дальнейшей настройки модели через обучение с подкреплением от обратной связи человека, что привело к созданию модели под названием InstructGPT. Удивительно, оценки показывают, что модель InstructGPT с 1,3 миллиарда параметров превосходит более крупную модель GPT-3 с 175 миллиардов параметров в отношении предпочтения пользователя, правдивости и сокращения токсичного вывода. Исследование указывает на то, что настройка с помощью обратной связи от людей является многообещающим подходом к выравниванию языковых моделей с человеческими намерениями, несмотря на меньший размер модели.

Вы можете найти статью здесь: https://arxiv.org/abs/2203.02155

7. LaMDA: Языковые модели для приложений диалога

В данной исследовательской статье GenAI представляется семейство языковых моделей LaMDA на основе трансформеров, разработанных для приложений диалога. С общим числом параметров 137 миллиардов, эти модели предварительно обучены на обширном наборе данных из 1,56 трлн слов из публичных диалогов и текста в Интернете. В то время как масштабирование модели улучшает качество, основное внимание уделяется решению двух важных задач: безопасности и фактическому обоснованию.

Для повышения безопасности авторы настраивают модель LaMDA с использованием аннотированных данных и дают ей возможность консультироваться с внешними источниками знаний. Безопасность оценивается путем согласования ответов модели с человеческими ценностями, предотвращая вредные предложения и несправедливые предубеждения. Фильтрация ответов с использованием классификатора LaMDA, повторно настроенного с помощью аннотированных данных, собранных с помощью рабочих сил, является многообещающей стратегией для повышения безопасности.

Фактическое обоснование, вторая задача, включает возможность модели консультироваться с внешними источниками знаний, такими как системы информационного поиска, языковые переводчики и калькуляторы. Авторы представляют метрику обоснования для оценки фактологичности модели. Результаты показывают, что такой подход позволяет LaMDA генерировать ответы, основанные на известных источниках, отличающиеся от мнимых ответов.

В данном исследовании рассмотрено применение LaMDA в образовании и рекомендациях контента, анализируется его полезность и согласованность роли в этих областях. В целом, исследование подчеркивает важность обеспечения безопасности и фактической основы в диалоговых приложениях. Оно демонстрирует, как настройка и консультация внешних знаний могут значительно улучшить эти аспекты в LaMDA.

Вы можете найти статью здесь: https://arxiv.org/abs/2201.08239

8. DreamFusion: Преобразование текста в 3D с использованием 2D диффузии

В этой исследовательской работе в области генеративного искусственного интеллекта рассматривается новый метод синтеза текста в 3D с использованием предварительно обученных моделей диффузии текста в изображение на 2D. В отличие от предыдущих подходов, основанных на массовых помеченных наборах данных 3D и специализированных архитектурах для подавления шумов, данная работа обходит эти трудности. Авторы представляют функцию потери, основанную на дистилляции плотности вероятности, позволяющую использовать 2D модель диффузии в качестве приоритета для оптимизации параметрического генератора изображений.

С помощью процесса, аналогичного DeepDream, случайно инициализированная 3D модель (неофициальное поле излучения нейронов, Neural Radiance Field, NeRF) тонируется с помощью метода градиентного спуска для минимизации потерь в ее 2D рендерингах под разными углами. Замечательно, что этот метод создает универсальную 3D модель, которую можно просматривать с любой перспективы, переосвещать под различными источниками света и плавно интегрировать в разнообразные 3D среды.

Подход заслуживает внимания своим отсутствием тренировочных данных 3D и избежанием модификаций модели диффузии изображения. Он демонстрирует эффективность предварительно обученных моделей диффузии изображений в области синтеза текста в 3D.

Вы можете найти статью здесь: https://arxiv.org/abs/2209.14988

9. Адаптивное обучение с фиксированной точностью: количественная оценкa обратного распространения в нейронных сетях с фиксированной точкой

В данной исследовательской работе в области генеративного искусственного интеллекта рассматривается проблема применения квантования в фазе обучения глубоких нейронных сетей, что обычно приводит к значительной потере точности. В то время как квантование доказало свою эффективность для быстрого и эффективного выполнения на стадии вывода, его прямое применение во время обучения вызывает сложности. В данной работе исследуется использование фиксированных точек для количественной оценки обратного распространения в нейронных сетях с целью найти баланс между преимуществами квантования и сохранением точности обучения.

Вы можете найти статью здесь: https://arxiv.org/abs/1911.00361

10. Параметрическая эффективная настройка крупномасштабных языковых моделей, предварительно обученных на большом объеме данных

В данной исследовательской работе рассматривается эффективная адаптация больших языковых моделей (LLMs) с более чем 1 миллиардом параметров, с акцентом на новом направлении – дельта-настройке. Дельта-настройка включает обновление небольшой доли обучаемых параметров при сохранении большей части замороженной. Это предлагает экономически эффективную альтернативу полной настройке параметров.

В рамках исследования было проанализировано более 1200 научных статей с шести последних конференций по обработке естественного языка. Исследование показывает, что, несмотря на популярность PLM, только небольшая часть практически использует большие PLM из-за затрат на внедрение. В статье представлены теоретические основы, оптимизация и оптимальное управление для объяснения механизмов дельта-настройки.

Эмпирические исследования на более чем 100 задачах обработки естественного языка демонстрируют последовательные и эффективные результаты дельта-настройки, улучшение сходимости с увеличением размера модели и вычислительную эффективность. Они также показывают преимущества комбинирования и переноса знаний между схожими задачами. Полученные результаты предлагают практические применения дельта-настройки в различных реальных сценариях и стимулируют дальнейшие исследования по эффективной адаптации PLM.

Вы можете найти статью здесь: https://www.nature.com/articles/s42256-023-00626-4

Заключение

Наше исследование этих новаторских научных докладов по GenAI показывает, что ландшафт понимания естественного языка развивается с поразительной скоростью. От инновационных подходов к предварительной тренировке до методов и приложений настройки модели, каждое исследование вносит свой вклад в загадку прогресса языковых моделей. Поскольку исследователи продолжают преодолевать границы и раскрывать новые возможности, будущее обещает богатое разнообразие приложений, которые использовали бы силу языковых моделей для улучшения взаимодействия с технологией и информацией.