Исследователи из Университета Цинхуа и компании Microsoft представляют ToRA Интегрированный средством искусственного интеллекта агент по рассуждению для решения математических задач.
Исследователи Университета Цинхуа и Microsoft разработали ToRA - интегрированный агент на базе искусственного интеллекта для решения математических задач
В искусственном интеллекте и математическом решении проблем были сделаны значительные успехи, особенно с появлением больших языковых моделей. Однако эти модели все еще сталкиваются с сложными математическими задачами. Исследователи Microsoft и Цинхуа университета представляют TORA, революционный подход, известный как Инструменты-интегрированные рассуждающие агенты, разработанный для решения сложных математических задач путем совмещения рассуждений на естественном языке с внешними вычислительными инструментами.
Исследователи прибегли к интеграции внешних инструментов, таких как калькуляторы, интерпретаторы кода и символьные решатели, чтобы справиться с этими сложностями. Хотя программные методы успешно преобразуют задачи рассуждения в задачи синтеза программ, они сталкиваются с проблемами нюансированного рассуждения, планирования и обработки ошибок. Дополнение больших языковых моделей (LLM) этими инструментами значительно улучшило способность к рассуждению и генерации. Техники дистилляции знаний, такие как LLM-генерируемые траектории для настройки, также сыграли роль в передаче знаний от учительских моделей к ученическим моделям.
LLM сделали заметные успехи в языковых задачах, включая математическое рассуждение, однако сложная математика остается сложной. Нынешние стратегии повышения математической грамотности в LLM включают пошаговое рассуждение на естественном языке и синтез программы. Первое преуспевает в семантическом и абстрактном рассуждении, второе способно осуществлять тщательные операции и использовать специализированные инструменты, такие как решатели уравнений. Их подход превосходит модели с открытым исходным кодом по задачам математического рассуждения, достигая высокой точности, особенно на соревновательном наборе данных MATHS. Их метод также предлагает преимущества взаимодействия с инструментами и нерешенные проблемы в математическом рассуждении, ориентируя будущие исследования в этой области.
- Исследователи из Китая представляют ImageReward прорывной подход искусственного интеллекта к оптимизации моделей текст-изображение с использованием обратной связи на основе предпочтений человека.
- Исследователи из Массачусетского технологического института и Гарварда представляют революционный вычислительный подход на основе искусственного интеллекта эффективное определение оптимальных генетических вмешательств с помощью меньшего количества
- Исследователи Шибаурского института технологии революционизируют определение направления лица с помощью глубокого обучения преодоление сложностей скрытых факторов лица и расширение углов обзора.
Модели TORA были обучены с использованием интерактивных траекторий использования инструментов на математических наборах данных, применяя имитационное обучение на аннотациях и совершенствуя поведение рассуждения с моделированием выходного пространства. GPT-4 генерировал разнообразные рассуждения на тренировочных наборах. Инструкции и примеры с небольшим числом шагов были составлены в смешанном формате для формирования приглашения, и была оценена эффективность TORA, которая объединяет обоснования с программами. Он достиг значительного улучшения производительности рассуждения. Выявленные проблемы включают глубокое понимание геометрического пространства и решение сложного символического рассуждения в задачах Intermediate Algebra и Precalculus.
TORA усиливает математические рассуждения, объединяя рассуждения на естественном языке с внешними инструментами. Модели TORA превосходят десять наборов данных для математического рассуждения, превосходя модели с открытым исходным кодом с улучшением точности в среднем на 13-19% и в решении задач на основе программ. Их подход анализирует преимущества и сложности взаимодействия с инструментами, подчеркивая эффективность формата TORA, который сочетает в себе обоснования и выполнение программы.
TORA представляет собой значительное развитие в решении математических проблем путем плавного слияния рассуждений на естественном языке с использованием программных инструментов. Он достигает передовой производительности в различных задачах математического рассуждения, превосходя существующие подходы на основе обоснования и программы. Комплексный анализ преимуществ и сложностей взаимодействия с инструментами предлагает важные инсайты для будущих исследований, обещая разработку более продвинутых и адаптируемых рассуждающих агентов.
