Может ли автоформализация сократить разрыв между неформальным и формальным языком? Встречайте MMA Многоязыковой и мультидоменный набор данных, революционизирующий область.

Как автоформализация может сократить разрыв между неформальным и формальным языком? Представляем MMA Многоязыковой и мультидоменный набор данных, который революционизирует область.

Математическое содержание, описанное на формальном языке, который можно проверить механическим образом с использованием компьютера, называется стандартной математикой. Математики используют формальные языки, которые включают инструменты для проверки наличия ошибок, такие как HOL Light, Isabelle, Coq и Lean. Преобразование источников на естественном языке в проверяемые формализации называется автоформализацией. Проверка существующих математических выводов может быть сделана более экономичной с использованием оптимального механизма автоформализации. Он позволяет исследователям автоматического рассуждения в областях, зависимых от формальных языков, таких как автоматическое доказательство теорем, получить доступ к большому количеству математических работ, написанных на простом языке. Желание автоматического преобразования неформальной математики в формально доказуемый материал поистине старо, ровно как и сама стандартная математика.

Автоформализацию можно было обучать только в последнее время благодаря прогрессу нейронных сетей и нейронному машинному переводу. Обычно требуются большие параллельные наборы данных, состоящие из пар последовательностей, переносящих одно и то же значение как в исходном, так и в целевом языках, для методов NMT. Самой сложной частью исследования автоформализации является создание параллельного набора данных, удовлетворяющего двум требованиям одновременно: чтобы количество данных было достаточно для методов машинного обучения, которым требуется большое количество данных, и чтобы компонент на естественном языке тесно соответствовал тому, как написана математика. Это вызывает трудности, так как требует дорогостоящей и высококвалифицированной специалистов по компьютерным наукам и математике, чтобы перевести неформальные математические знания на формальный язык вручную.

Используя передовую модель большого языка GPT-4 для преобразования двух крупнейших формальных корпусов, Archive of Formal Proofs в Isabelle и mathlib4 в Lean4, на естественный язык, авторы этого исследования решает проблему отсутствия параллельного набора данных. Два наиболее важных момента, что неформализация намного проще, чем формализация, и что сильная ММС может привести к различным выходам на естественном языке – облегчили этот процесс. Исследователи из Кембриджского университета и Эдинбургского университета одновременно создали набор данных неформальных и формальных данных объемом 332 тыс., Который они назвали набором данных MMA. Насколько им известно, это первый параллельный набор данных с несколькими формальными языками. У него в четыре раза больше данных, чем у самого большого доступного набора данных.

• Моделирование проблемы путешествующего продавца с нуля
• Самая сложная часть определение цели для классификации
• Все, что вам нужно знать, чтобы развиваться, используя большие языковые модели.

Они оптимизировали LLaMA-33B, открытую и очень эффективную ММС, на MMA для предоставления формальных фраз, соответствующих неформальным. Затем для оценки обученной модели использовались два автоформализационных бенчмарка, miniF2F и ProofNet. После настройки модели, при ручном анализе 50 выходов каждого бенчмарка, можно было сделать 16-18% формальных утверждений на бенчмарках, не требующих изменений или требующих минимальных изменений, по сравнению с 0% для необработанной модели. Кроме того, они независимо настроили две подобные модели для одинакового количества шагов на компонентах Lean4 и Isabelle компонентов MMA. Их показатели автоформализации существенно хуже, чем у модели, обученной на мультиязычных данных, что указывает на важность обучения автоформализации на параллельных данных, включая различные формальные языки.

Вклады:

• Они создают MMA – коллекцию неформальных-формальных пар, неформализуя все формальные утверждения из mathlib4 и Архива формальных доказательств.

• Они обучают первую языковую модель, которая может автоматически формализовывать на несколькие языки в режиме без обучения на конкретном языке, и тестируют ее вручную на двух бенчмарках автоформализации. Это первый набор данных автоформализации, содержащий несколько формальных языков, в четыре раза превышающий самый большой существующий набор данных.

• Они подтверждают, что языковые модели, обученные на MMA, имеют надежные возможности автоформализации и превосходят языковые модели, обученные на многоязычных разделах MMA с тем же вычислительным бюджетом, в автоформализации.

• Они предоставляют оптимизированные модели для вывода. Кроме того, они предоставляют набор данных MMA для использования каждым желающим в обучении и обогащении моделей автоформализации в других областях и языках.