«GPT-4 может решать математические задачи, но не на всех языках»

«GPT-4 проходит испытание с математическими задачами, но не на всех языках»

Несколько экспериментов, в которых GPT-4 решает математические задачи на 16 разных языках

Введение

Говорят, что математика – универсальный язык – математические концепции, теоремы и определения могут быть выражены символами, понятными независимо от языка.

В этой статье я тестирую математические возможности GPT-4 на шестнадцати разных языках.

Ранние эксперименты показали, что GPT-4 получает высокие баллы на тестах по математике SAT и AP Calculus и по математике уровня бакалавра. Однако большинство этих экспериментов тестируют математические возможности GPT-4 только на английском языке. Чтобы лучше понять математические возможности GPT-4 за пределами английского языка, я подготовил его к тем же математическим задачам на пятнадцати других языках.

Итак, насколько хорошо GPT-4 справляется с математикой на разных языках? В теории, он должен быть одинаково хорош (или плох) на всех языках, но, к сожалению (как вы могли догадаться), это не так. GPT-4 намного лучше решает математические задачи на английском языке. В зависимости от языка GPT-4 может решить некоторые задачи. Однако, для традиционно недостаточно ресурсных языков, таких как бирманский и амхарский, GPT-4 не смог решить задачи, которые я ему дал.

• Исследование социальной виртуальной реальности уход за пределами основ виртуальной реальности
• Метод опорных векторов с использованием Scikit-Learn Дружественное введение
• Модели нейрональной основы для интерпретируемости

О Project Euler

Я использую математические задачи с веб-сайта Project Euler для тестирования GPT-4. (Это также отсылка к одной из моих моих ранних статей этого года, где я использовал инженерию промптов с использованием ChatGPT, чтобы решить несколько задач Project Euler). Project Euler, названный в честь одноименного математика, – это веб-сайт с сотнями математических и компьютерных задач, имеющих разную сложность. Запущенный в 2001 году, он превосходит более 850 задач (на октябрь 2023 года) и выпускает новый вопрос примерно каждую неделю.

Великое преимущество задач Project Euler заключается в том, что у каждой задачи есть численно “правильный” ответ – это позволяет легко проверить, является ли ответ GPT-4 объективно правильным или нет. Кроме того, они обычно более сложные, чем задачи математики школьного или университетского уровня. В настоящее время нет всестороннего понимания математических возможностей GPT-4 (и других больших языковых моделей)…