Почему машины могут мыслить

Почему автомобили способны мыслить

Как мы можем мыслить о мышлении наиболее простым образом возможным?

Открытие коробки Пандоры (изображение автора)

В 17-м веке Рене Декарт предложил относительно новую идею – девиз “cogito ergo sum” (“Я мыслю, следовательно я существую”). Эта простая формулировка послужила основой западной философии и на протяжении веков определяла наши представления о сущности человека.

С тех пор наше представление о том, что значит быть человеком, изменилось. Однако, несмотря на все это, многие до сих пор считают способность мыслить одним из самых важных признаков человечности.

Неудивительно, что с момента выпуска ChatGPT (и аналогичных моделей) мы начали быть засыпаны статьями, обсуждающими “умеет ли оно мыслить”.

Например, New Yorker размышлял “Какое умонастроение у ChatGPT?”; Washington Post заявил “ChatGPT может успешно справиться с логическими тестами. Но не просите его быть творческим”; и Atlantic пришел к выводу, что “ChatGPT дурнее, чем вы думаете”. Личным фаворитом моим является это видео комика, пытающегося объяснить, что такое ChatGPT человеку, работающему в HR.

Как и с любой другой сложной темой, которая хорошо поддается спекуляции, люди и преувеличивают, и недооценивают мыслительные способности моделей искусственного интеллекта. Поэтому давайте разберемся в этом.

Мыслим, чтобы рассуждать

Мышление – это сложное понятие, которое приобрело много различных значений. Поэтому, для простоты, давайте предположим, что мышление более или менее синонимично рассуждению.

Рассуждение – это гораздо более четко определенное понятие, которое, кстати, все чаще упоминается как будущее искусственного интеллекта. Именно об этом (в значительной степени) говорил Декарт, имея в виду мышление.

Так что вместо того, чтобы спрашивать “Может ли искусственный интеллект мыслить?”, давайте спросим “Может ли искусственный интеллект рассуждать?”.

Короткий ответ – да. Длинный ответ – он может рассуждать, но только в некоторых случаях.

Рассуждение – неоднородное понятие. Существует несколько способов рассуждать, в зависимости от типа задач, которые человек пытается решить. Поэтому в этом посте мы сначала рассмотрим краткое введение в три ключевых типа рассуждений и посмотрим, как машины на них реагируют. Затем мы рассмотрим причины, по которым машины не способны на общепринятое рассуждение и какой вопрос нам нужно ответить перед этим.

Введение в рассуждение

В общем, существуют три основных типа рассуждений, которыми мы пользуемся при “мышлении”: дедукция, индукция и абдукция.

Дедукция

Просто говоря, дедукция – это способность прийти к заключению на основе заданных правил и предполагаемой истинности случая.

Вообразите следующую ситуацию: вы наполняете сковороду водой, включаете плиту и кладете в нее термометр. Исходя из того, что вы узнали в школе, вы знаете, что вода (обычно) кипит при 100 °C. Так что когда кто-то говорит вам, что температура достигла 100 °C, вы можете безопасно сделать вывод, что вода кипит (для того чтобы быть “почти уверенным” в этом, вам не обязательно видеть это своими глазами).

Вот полезная структура, которую стоит иметь в виду.

1. Правило: вода кипит при температуре 100 °C

2. Случай: температура воды составляет 100 °C

3. Результат: вода в кастрюле кипит

Таким образом, вы рассуждаете от правила и случая к результату.

Дедукция: рассуждение от правила и случая к результату (изображение автора)

Дедукция является основой нашей способности заниматься наукой. Это также тип рассуждения, самый простой воспроизводить машиной.

Почти каждое устройство выполняет некоторую форму дедукции. Ваш простой негламурный калькулятор высчитывает ответы каждый раз, когда вы спрашиваете его, сколько будет 3+5. И в нем нет искусственного интеллекта.

Если мы представим его в той же структуре, что и пример с водой выше, то получим:

Правило: Калькулятор имеет правило, что 1+1 = 2

Случай: Вы задали вопрос 3+5 = ?

Результат: Исходя из правила, он может вычислить/дедуцировать, что 3+5 = 8

Просто.

Индукция

Индукция – это способность обобщать правила из заданного набора наблюдений. Она является основой нашей способности заниматься наукой, поскольку позволяет нам количественно определить новые закономерности/правила.

Давайте остановимся на примере кипячения воды. Представьте, что вам никогда не говорили, что вода кипит при 100°C. Так что каждый раз, когда вы подогреваете кастрюлю с водой до кипения, вы вставляете термометр и измеряете температуру – 100, 1 000, 10 000 раз. Затем вашим друзьям приходится делать то же самое – и несмотря на количество повторений, температура всегда остается 100°C. Таким образом, вы можете вывести правило: “вода кипит при 100°C”.

1. Результат: вода кипит

2. Случай: при вставке термометра он всегда показывает 100°C.

3. Правило: вода кипит при 100°C.

Индукция: рассуждение от результата и случая к правилу (изображение автора)

И вуаля, вы количественно определили новое правило на основе наблюдаемого вами шаблона. Для этого вы рассуждаете от результата и случая к правилу.

Конечно, такой тип рассуждения не всегда верен. Известно, что европейцы думали, что все лебеди белые, пока не поплыли в Австралию. Кроме того, мы знаем, что вода не всегда кипит при 100°C (давление в атмосфере также играет роль).

Просто потому, что что-то является верным 10 000 раз, не означает, что оно всегда будет верным. Тем не менее, наличие 10 000 повторений является надежной ставкой.

Индукция гораздо сложнее для машин. Ваш калькулятор, конечно же, не может выполнять индукцию. Однако модели машинного обучения могут. Фактически, это их основная задача: обобщение на основе заданных результатов.

Рассмотрим простой пример. Предположим, у нас есть модель надзорной классификации, которую мы будем использовать для обнаружения спама. Сначала мы имеем помеченный обучающий набор данных – спам или не спам (т.е. результат). В пределах этого набора данных мы собрали несколько случаев для каждого результата. Основываясь на них, модель выводит свои собственные правила, которые могут быть применены к случаю, которого она никогда не видела раньше.

1. Результат: спам или не спам

2. Случай: большие выборки для примеров спама и не спама

3. Правило: письма с “этими шаблонами и словами” обычно являются спамом (с определенной степенью вероятности)

Точно также, при работе с моделями без учителя, такими как системы рекомендаций, процесс следует похожему принципу. Сначала мы предоставляем модели набор данных о том, что люди обычно покупают, когда идут в супермаркет (результат). Начиная с обучения модели, мы ожидаем, что она сначала сгруппирует повторяющиеся шаблоны (случаи), а затем выведет свои собственные правила, которые затем можно применить к подобным контекстам.

1. Результат: неразмеченные данные о покупках людей

2. Случай: похожие покупки, найденные моделью в наборе данных (например, все, кто купил яйца, также купили бекон).

3. Правило: люди, покупающие яйца, также покупают бекон (с определенной степенью вероятности)

В обоих случаях эти правила не всегда понятны людям. Мы знаем, что модель компьютерного зрения “обращает внимание” на определенную часть изображения, но мы редко знаем почему. Фактически, чем более сложная модель, тем меньше наши шансы узнать, какие правила она использует.

Итак, вот — машины могут выполнять как индукцию, так и дедукцию.

Дедукция и индукция — основа науки

Широко принято считать, что сочетание индукции и дедукции является движущей силой нашей способности рассуждать. И, как показывают наши примеры, современные модели машинного обучения, даже простые, уже могут выполнять оба процесса.

Сначала они используют индуктивное рассуждение для генерации правил из заданного набора данных. Затем они применяют эти правила к новым случаям. Например, после того, как мы представим модели ранее не виденное фото, она использует свои правила, чтобы догадаться о конкретных результатах (например, она может сообщить нам, что предоставленная нами фотография перевернута).

Тем не менее, большинство специалистов по обработке данных согласится, что даже самые продвинутые модели машинного обучения не могут рассуждать. Почему?

Пример с кипячением воды может служить простым иллюстрацией того, почему полное полагание только на дедукцию и индукцию не совсем подходит. Верно, нам нужны они, чтобы сформулировать правило (“вода кипит при 100 °C”) и затем опровергнуть его на разнообразных примерах. Однако такая комбинация не объясняет, как мы догадались, что результат кипячения имеет что-то общее с температурой.

Кроме этого, становятся явными и дополнительные ограничения индукции и дедукции — они в некоторой степени ограничены определенным контекстом и не способны полностью охватить способность человека передавать знания между областями. Вот именно здесь на сцену выступает абдукция, предлагая более всесторонний взгляд на когнитивные процессы, которые позволяют нам делать интуитивные прыжки и связывать идеи в различных сферах.

Абдукция

Абдукция — это способность генерировать новые гипотезы на основе одного удивительного наблюдения (то есть результата). Мы делаем это каждый раз, когда полагаемся на наши опыты для объяснения чего-то.

Мы выходим на улицу и видим мокрую дорогу. Мы объясняем это тем, что, возможно, вчера ночью шел дождь. Нам не нужно видеть 10 000 мокрых улиц, чтобы знать, что когда идет дождь, улица становится мокрой. Технически, нам даже не нужно видеть мокрую улицу раньше — достаточно знать, что когда вода касается предметов, они становятся мокрыми.

Это означает, что если мы вернемся к примеру с кипячением воды, у нас будет другой способ рассуждать:

1. Результат: вода кипит

2. Правило: вода кипит при 100 °C

3. Случай: температура воды должна быть 100 °C

Абдукция: рассуждение от правила и результата к случаю (изображение автора)

Мы начинаем с результата (как при индукции), но сочетаем его с правилом, которое мы уже знаем (на основе наших знаний и опыта). Сочетание этих двух позволяет нам получить случай (например, вода кипит из-за изменения ее температуры).

Абдукция является наименее надежным типом логического вывода. Вероятно, гипотеза, которую вы сформулировали с помощью абдукции, неверна. Например, причина “мокрая улица” может быть не связана с дождем — возможно, где-то на улице прорвалась труба во время ночи или кто-то усердно поливал улицу водой. Однако, дождь кажется логичным объяснением.

Таким образом, абдуктивное мышление позволяет нам переходить через повседневные ситуации, не застревая. Ведь нам не нужно выполнять 10 000 попыток, чтобы принять простое решение.

На мой взгляд, ни одна модель/алгоритм искусственного интеллекта до сих пор не смогла выполнить абдуктивный вывод. Вот так, как я только что описал.

Те из вас, кто знаком с системами на основе правил 1960-х и 1970-х годов, конечно же, могут указать на MYCIN, XCON и SHRDLU и утверждать, что они способны к абдукции. Другие могут привести примеры абдукции, приведенные в индексе искусственного интеллекта Стэнфордского университета в 2022 году и 2023 году как одну из самых многообещающих областей для будущих исследований (например, абдуктивный вывод в области естественного языка).

Итак, если компьютеры могли выполнять “абдукцию” в 1970-х годах, почему они до сих пор не могут делать то, что я утверждаю, что абдукция может делать (т.е., рассуждать на основе здравого смысла)?

Почему абдукция продолжает оставаться непостижимой

Существует две основные причины, почему даже современные модели не могут выполнять абдукцию: смешение понятий и архитектура.

Смешение: абдукция не то же самое, что обоснование лучшего объяснения (IBE)

Исторически в компьютерной науке многие использовали термины IBE и абдукцию как равнозначные. Даже ChatGPT скажет вам, что они одно и то же, или что абдукция является подмножеством IBE (в зависимости от того, как вы спросите). Энциклопедия философии Стэнфордского университета также отражает эту точку зрения. Фактически, почти все статьи в широком поле компьютерной науки, которые вы прочитаете о абдукции, скажут вам, что это то же самое, что IBE.

Однако, это два очень разных понятия.

В общем, абдукция охватывает акт генерации нового случая (где знания могут быть переданы из одного контекста в другой). IBE, с другой стороны, представляет собой очень особую и более зависимую от контекста форму индукции, которая не требует обязательного выявления количественных закономерностей (т.е. вам не нужно наблюдать шаблон 10 000 раз, чтобы сформулировать правило). Точные способы, которыми они отличаются, являются достаточно сложной философской дискуссией. Если вам интересен глубинный анализ этого, я рекомендую эту статью.

В контексте этого поста, нам поможет мыслить об этом в структуре правила, случая и результата и использовать конкретные примеры, такие как MYCIN и абдуктивная модель вывода на естественном языке, которую цитирует индекс искусственного интеллекта Стэнфордского университета.

MYCIN была первой экспертной системой, разработанной в 1970-х годах в Стэнфордин, которая помогала врачам диагностировать инфекционные заболевания. Она полагалась на базу знаний, где каждое правило выражалось через условие (IF — то есть случай) и заключение (THEN — то есть результат). Затем использовался механизм обратного цепного вывода, который позволял принимать набор симптомов и данных о пациенте (результат и случай соответственно) и работать в обратном порядке для определения и присвоения эвристического уверенности от 0 до 1 для правил, которые могут лучше объяснить ситуацию. Речь идет о рассуждении от результата и случая к правилу (то есть о шаблоне, за которым следует индуктивное рассуждение).

Работа, на которую ссылается индекс Stanford AI как пример абдуктивного вывода на естественном языке (либо при составлении гипотезы, либо при выборе наиболее правдоподобной), немного сложнее. Тем не менее, это не абдукция. Фактически, я бы сказал, что это похоже на IBE, но оно следует тому же паттерну, что и другие модели машинного обучения, которые мы обсудили ранее – индукция, за которой следует дедукция.

Немного истории; в 2020 году Бхагаватула и его коллеги* обучили модель трансформера на наборе данных, который они называют ART (содержащим около 20 тыс. повествовательных контекстов, определенных парами наблюдений (O1, O2) и 200 тыс. объяснительных гипотез). После обучения они предоставили модели набор из двух наблюдений и попросили ее сгенерировать правдоподобную гипотезу, соответствующую им (см. Рисунок 4).

Рисунок 4: Абдуктивный вывод на естественном языке (рисунок взят из arXiv:1908.05739)

Как видно из рисунка, когда модели трансформера (GPT-2+COMeT векторы) представляются O1 (например, “Junior – это имя черепахи старше 20+ лет”) и O2 (например, “Junior до сих пор активен”), она может сгенерировать правдоподобную гипотезу (например, “Junior плавает в бассейне со своими друзьями”), которая могла бы объяснить, почему мы считаем, что у Junior все еще хорошие дела.

Почему это IBE, а не абдукция?

Давайте на время отвлечемся от базовой модели машинного обучения и подумаем, как человек может выполнять такую задачу рассуждения. Сначала нам предоставляется результат: Junior до сих пор активен, и нам говорят, какой случай есть (т.е. Junior – относительно старая черепаха). Затем, исходя из этого, мы пытаемся найти потенциальное (зависящее от контекста) правило, которое может объяснить случай и результат. Например, мы можем сделать вывод, что старая черепаха, которая до сих пор активна,

  1. склонна играть со своими друзьями ИЛИ
  2. имеет здоровый аппетит ИЛИ
  3. имеет хорошие показатели здоровья

и так далее.

Затем мы можем выбрать наиболее правдоподобное (по нашему мнению) правило и применить его к нашему случаю “старой черепахи”. Это позволит нам предположить, что Junior могла плавать со своими друзьями.

Как уже объяснялось, обнаружение потенциальных правил из ограниченного набора наблюдений является признаком IBE, и процесс делать выводы из них обычно представляет собой слабую форму дедукции.

Нам, людям, понятно, что по мере старения (будь то черепаха или человек) их энергия часто снижается (возможно). Это позволяет нам создавать правила, которые относительно “пронизаны смыслом”. Модель трансформера не может делать этого. Однако она может улучшать свои предсказания относительно наиболее вероятной комбинации слов, которые могут следовать за заданным случаем и результатом (применяя индукцию, а затем дедукцию). Модель не имеет внутреннего понимания того, что когда Junior веселится, это означает, что она все еще в хорошей форме.

Фактически, можно даже сказать, что работа по абдуктивному выводу на естественном языке напоминает последовательность мыслей. Правда, инструкции представлены модели трансформера по-другому.

Надеюсь, все эти примеры показывают, что то, что компьютерная наука называет абдукцией, на самом деле не является абдукцией. Вместо этого оно, похоже, является контекстно-специфическим вариантом индукции.

Архитектура: современные модели машинного обучения ограничены индукцией

Вторая причина невозможности признания моделей последнего поколения в абдукции заключается в их архитектуре. По определению, модели машинного обучения являются машинами, генерирующими индукцию. Эта тенденция усиливается их так называемым индуктивным предпочтением.

Индуктивный сдвиг является важным понятием в области машинного обучения, относящимся к врожденным предположениям или предпочтениям модели относительно типов функций, которые она должна учиться. Сдвиг помогает направлять процесс обучения, ограничивая множество возможных гипотез и делая обучение более эффективным и точным.

Например, деревья решений фокусируются на иерархической структуре и простых границах принятия решения. Метод опорных векторов стремится найти широкие разделительные полосы между классами. Сверточные нейронные сети акцентируют внимание на трансляционной инвариантности и иерархическом извлечении признаков в изображениях. Рекуррентные нейронные сети предрасположены к последовательным паттернам, байесовские сети моделируют вероятностные отношения, линейные модели с регуляризацией предпочитают более простые модели, наказывая большие коэффициенты, и общие трансформеры, такие как GPT-4, характеризуются способностью улавливать последовательные зависимости и взаимоотношения в данных. Эти сдвиги формируют поведение моделей и их пригодность для разных задач. Они также делают сложным перенос знаний из одного контекста в другой.

Чего нам все еще недостает

Хорошо, давайте сначала обсудим основы логического мышления и увидим, что машины действительно могут мыслить. Они осуществляют истины и познание. Однако то, что мы интуитивно называем “мышлением”, осуществляется посредством вывода, который до сих пор остается сложным из-за смешения понятий и архитектуры системы.

Итак, чего же нам нужно?

Как мы можем построить что-то, что сможет осуществлять умозаключения?

Ну, прежде всего, нам нужно суметь правильно определить, что такое умозаключение и описать, как оно работает. К сожалению, в этом отношении проделано недостаточно работы. Особенно, когда речь идет о том, как умозаключение связано с индукцией и дедукцией. Или как его можно использовать в машинах. Единственное, на что ученые обычно соглашаются, это то, что умозаключение происходит вначале, а затем следуют индукция и дедукция.

Итак, что такое умозаключение?

Умозаключение не является однородной концепцией. Я сталкивался с примерно 10 различными типами умозаключений, в зависимости от научной области, к которой они относятся. Даже философ Чарльз Пирс, который ввел понятие умозаключения, не относится к нему последовательно.

Однако существуют три основных типа, которые описывают фундаментальные функции умозаключения. Точные функции и происхождение их сложны для описания в этой статье. Вот некоторые основные положения.

Во-первых, у нас есть самый прямолинейный тип умозаключения – объяснительное. Тот, о котором мы уже говорили. Чтобы использовать его, мы начинаем с наблюдения (результата) и легко идентифицируемого правила. Комбинация этих двух позволяет нам сделать предположение о случае. Это хорошо иллюстрируется примером кипячения воды.

Тогда у нас есть инновационное умозаключение – тип умозаключения, который позволяет нам рассуждать относительно (желаемого) результата к паре случая и правила. А именно, мы знаем только, какой результат мы хотим достичь, а затем постепенно определяем соответствующую пару случай-правило, позволяющую нам достичь желаемого результата. Этот тип умозаключения обычно используется для генерации новых идей.

Наконец, у нас есть, на мой взгляд, один из самых интересных типов умозаключения – манипулятивное. Мы используем его в ситуациях, когда единственное, что мы знаем, это части результата (желаемого или другого). Кроме того, контекст, в котором этот результат “живет”, определяется несколькими скрытыми взаимосвязями. Поэтому невозможно сразу начать поиск/генерацию подходящей пары случай-правило. Вместо этого нам нужно лучше понять результат и то, как он связан с его окружением, чтобы снизить уровень неопределенности.

Вот где появляется так называемое устройство мышления/эпистемический посредник. Это может быть, например, базовый эскиз, прототип или 3D-модель, служащие средством повышения понимания проблемы. Оперируя этим посредником в целевой среде, мы получаем более глубокое понимание контекста. В результате мы лучше оснащены для исследования потенциальных сочетаний правил и случаев. Кроме того, это позволяет устанавливать ассоциации, которые помогают передвигать знания из одной области в другую. Упрощенная версия этого типа мышления часто применяется в стереометрии, например.

Как я уже сказал, еще много работы предстоит сделать в объяснении связей между этими типами умозаключений и их взаимосвязью с другими подходами к рассуждению. Однако этот труд становится все более важным, поскольку он имеет потенциал предложить полезные идеи относительно возможности передачи знаний между различными областями. Особенно в свете возобновленного интереса к рассуждению в этой области — будь то через IBE, “рассуждение на основе моделирования и примеров” или мышление системы 1 и системы 2.

Среди всего этого кажется целесообразным понять, как не смешивать разные типы рассуждений, которые могут выполняться машиной. Потому что, да, машины могут рассуждать. Они просто не могут выполнить весь спектр рассуждений.

*Другие интересные исследования IBE можно найти в этой статье (в ней кажется, они приравнивают похищение к IBE).