Внутри FunSearch новый LLM от Google DeepMind, способный открывать новые математические алгоритмы и алгоритмы компьютерных наук.

Новый LLM от Google DeepMind в FunSearch Открытие новых математических алгоритмов и алгоритмов компьютерных наук

Новая модель объединяет кодогенерирующие LLMS с сильными техниками оценки.

Недавно я начал выпускать образовательную рассылку, посвященную искусственному интеллекту, которая уже имеет более 160 000 подписчиков. TheSequence – это рассылка, ориентированная на машинное обучение, которая не содержит хайпа, новостей и т. д., и занимает 5 минут на прочтение. Цель состоит в том, чтобы быть в курсе проектов по машинному обучению, научных статей и концепций. Попробуйте подписаться, перейдя по ссылке ниже:

TheSequence | Jesus Rodriguez | Substack

Лучший источник актуальной информации о разработках в области машинного обучения, искусственного интеллекта и данных…

thesequence.substack.com

Открытие новых научных открытий – это, пожалуй, самый полный Тьюринг-тест для моделей искусственного интеллекта. Новым научным методам требуются сложные навыки логического мышления, объединяющие знания из разных областей, постоянные эксперименты и оценку, а также другие сложные познавательные навыки. Google DeepMind стал одной из лабораторий по искусственному интеллекту, толкающих границы использования искусственного интеллекта для оптимизации научных открытий. Модели, такие как AlphaGo, позволили обнаружить новые белки, в то время как AlphaTensor смог улучшить классические алгоритмы умножения матриц. Самая новая разработка Google DeepMind в этой области – FunSearch, модель, способная создавать новые математические и алгоритмы компьютерных наук.

FunSearch предлагает умный подход для открытия новых алгоритмов, “мышление в коде”. Фактически, FunSearch использует LLM для генерации компьютерных программ на основе набора функций для заданной проблемы, а затем использует оценщик для проверки разных решений. Название FunSearch произошло от того, что модель итеративно ищет пространство функций.

• Эта искусственная интеллект статья предлагает COLMAP-бесплатное трехмерное гауссово наложение (CF3DGS) для синтеза нового вида без известных параметров камеры.
• Как мы можем продвинуть распознавание объектов в искусственном интеллекте? В данной статье по искусственному интеллекту представляется GLEE универсальная модель на уровне объекта для улучшенного анализа изображений и видео.
• Этот исследовательский обзор статьи по искусственному интеллекту рассматривает роль больших языковых моделей (LLM) в медицине их вызовы, принципы и применение.

Внутри FunSearch

FunSearch основан на комбинации эволюционных методов и языковых моделей (LLMs) для уточнения и улучшения лучших идей программирования. Этот процесс начинается с пользователем заданной проблемы, представленной в виде кода, который включает процедуру оценки и начальную программу. Эта начальная программа приводит к коллекции программ для дальнейшего развития.

FunSearch основан на следующих ключевых компонентах:

1. Спецификация проблемы: Пользователи предоставляют проблему в виде функции «оценить», которая оценивает потенциальные решения. Также включается начальная, обычно простая, программа, чтобы начать процесс эволюции.

2. Предварительно обученный LLM: FunSearch полагается на Codey, построенный на семействе моделей PaLM2. Codey, который прошел обширное обучение на огромном количестве кода, является ключевым в предложении улучшений функций. Замечательно, что Codey работает без какого-либо специфического обучения, нацеленного на конкретные проблемы.

3. Оценка: Этот компонент FunSearch включает оценку программ, сгенерированных LLM, на основе определенных входных данных. Например, в задачах размерностной или комбинаторной оптимизации эти входные данные варьируются в соответствии с конкретными требованиями задачи.

4. База данных программ: Эта база данных хранит разнообразную коллекцию точных программ, которые являются ключевыми для создания новых подсказок и избегания локальных оптимумов в процессе эволюции.

5. Подсказка: FunSearch использует метод «лучшая подсказка», который включает выбор и ранжирование программ из базы данных на основе их производительности. Каждой программе присваивается номер версии, основанный на ее рейтинге.

6. Распределенная система: Этот компонент FunSearch состоит из трех основных компонентов: базы данных программ, выборщиков и оценщиков, которые работают асинхронно. База данных сохраняет и распространяет программы, выборщики используют предварительно обученный LLM для создания новых функций, и оценщики определяют эффективность этих программ. Эта сложная система, проиллюстрированная в дополнительной информации, демонстрирует всеобъемлющий и динамический подход Google DeepMind к развитию области эволюции программ.

FunSearch в действии

Чтобы оценить FunSearch, Google DeepMind решила взяться за некоторые культовые проблемы в математике и компьютерных науках.

Проблема 1: Проблема набора крышек

Первым вызовом стала проблема набора крышек, долговременная загадка в математическом сообществе. Эта проблема заключается в определении наибольшей группы точек на многомерной сетке, такой, что ни три точки не образуют прямую. Сотрудничая с профессором математики Джорданом Элленбергом из Университета Висконсина-Мэдисона, который сделал значительный прорыв в этой области, Google DeepMind решала эту проблему, которая имеет значение в крайних сочетаниях. Традиционные методы вычислений терпят неудачу здесь из-за астрономического числа возможностей, превышающего даже общее число атомов во Вселенной.

Достижение FunSearch в этой области было замечательным. Он породил программы, которые обнаружили крупнейшие известные на сегодняшний день наборы крышек, за последние два десятилетия являющиеся наиболее значительным прогрессом в этой области. Он не только достиг этого, но и превзошел возможности самых передовых вычислительных решателей, демонстрируя свою превосходную эффективность в решении сложных математических задач.

Проблема 2: Упаковка в контейнеры

Вторая проблема, с которой Google DeepMind справилась с помощью FunSearch, была практической и широко применимой проблемой упаковки в контейнеры. Эта проблема заключается в эффективной упаковке предметов различного размера в минимальное число контейнеров, что является ключевой задачей множества применений в реальном мире, от логистики до управления центрами обработки данных. Обычно эту проблему решают с помощью эвристических правил, основанных на опыте людей, которые могут сильно отличаться в зависимости от конкретных требований каждого случая.

FunSearch продемонстрировал свою адаптивность вновь. Установка его для проблемы упаковки в контейнеры была простой, несмотря на значительные отличия от задачи набора крышек. Этот инструмента превосходил традиционные эвристики, достигая более эффективной упаковки с использованием меньшего числа контейнеров. Этот успех подчеркнул гибкость FunSearch и его потенциал для революционизации решения задач в различных областях.

FunSearch представляет собой одну из самых интересных статей, опубликованных в этом году, и подчеркивает потенциал языковых моделей с применением к открытию новых научных результатов. Открытие новых алгоритмов в математике и компьютерных науках само по себе является значительным достижением, а принципы FunSearch применимы во многих других научных областях.