Автоматизация безразличия Как вернуть людей в процесс

Автоматизация безразличия вернуть людей в процесс

В драматическом повороте событий, роботакси – самоуправляемые транспортные средства, которые подбирают пассажиров без участия человека, недавно были выпущены в Сан-Франциско. После спорного 7-часового общественного слушания, решение было закреплено Калифорнийской комиссией по публичным услугам. Несмотря на протесты, в воздухе чувствуется неизбежность. Калифорния постепенно смягчает ограничения с начала 2022 года. Новые правила позволяют двум компаниям с разрешениями – Waymo от Alphabet и Cruise от GM – отправлять эти такси в любую точку 7-мильного города, за исключением автострад, и взимать плату за проезд.

Идея самоуправляемых такси вызывает два противоречивых чувства: восторг (“такси по гораздо более низкой цене!”) и страх (“не заденут ли они меня или моих детей?”). Поэтому регуляторы часто требуют, чтобы автомобили проходили тестирование с пассажирами, которые могут вмешаться и управлять системой до возникновения аварии. К сожалению, наличие людей, готовых в реальном времени вмешаться и управлять системой, может не быть лучшим способом обеспечить безопасность.

Фактически, из 18 смертей в США, связанных с авариями самоуправляемых автомобилей (на февраль этого года), все они имели какую-то форму человеческого контроля, либо в автомобиле, либо удаленно. Среди них одна из самых известных, которая произошла поздно ночью на широкой пригородной дороге в Темпе, Аризона, в 2018 году. Автоматизированное испытательное транспортное средство Uber сбило 49-летнюю женщину по имени Элейн Херцберг, которая бежала с велосипедом, чтобы перейти дорогу. Человек-оператор находился на переднем сиденье и смотрел вниз, и машина предупредила его менее чем за секунду до столкновения. Он слишком поздно взял руль в свои руки. Эта авария заставила Uber приостановить испытания самоуправляемых автомобилей. В конечном итоге, компания продала подразделение автоматизированных транспортных средств, которое являлось ключевой частью ее бизнес-стратегии.

Человек-оператор оказался в тюрьме из-за небрежности при автоматизации, явление, которое было обнаружено еще в самые ранние дни пилотного обучения. Самоуверенность является частым динамическим фактором в системах искусственного интеллекта. Чем более автономная система, тем больше человеческие операторы доверяют ей и не обращают полное внимание. Нам скучно следить за этими технологиями. Когда авария действительно грозит, мы не ожидаем этого и не реагируем вовремя.

Люди являются природными экспертами в таком типе мышления о риске, как рисковое мышление, которое даже самое сложное машинное обучение еще не может эмулировать. Это способность распознавать, когда ответ неочевиден, что мы должны замедлиться или остановиться. Рисковое мышление критично для автоматизированных систем, и это создает дилемму. Люди хотят быть в курсе дела, но доверие им контролировать систему, когда мы полагаемся на автоматизированные системы слишком беспечно, может на самом деле ухудшить ситуацию.

Как, тогда, разработчики автоматизированных систем могут разрешить эту дилемму, чтобы эксперименты, подобные тому, что происходит в Сан-Франциско, завершились положительно? Ответ – дополнительная добросовестность не только перед моментом удара, но и на ранних стадиях проектирования и разработки. Все системы искусственного интеллекта несут риски, если их не проверять. Самоуправляемые автомобили не будут свободны от риска, даже если в среднем они окажутся более безопасными, чем автомобили, управляемые людьми.

Авария Uber показывает, что происходит, когда мы не мыслим о риске намеренно. Для этого нам нужны творческие трения: привлечение нескольких человеческих точек зрения задолго до выпуска этих систем. Другими словами, мы должны продумывать последствия систем искусственного интеллекта, а не только их применения, с учетом точки зрения сообществ, которые будут непосредственно затронуты технологией.

Waymo и Cruise оба защищают рекорды безопасности своих транспортных средств, основываясь на статистической вероятности. Тем не менее, это решение превращает Сан-Франциско в живой эксперимент. Когда будут подведены итоги, будет крайне важно собрать правильные данные, поделиться успехами и неудачами, и позволить затронутым сообществам высказаться вместе с экспертами, политиками и бизнесменами. Другими словами, держать всех людей в петле. В противном случае мы рискуем попасть в состояние автоматизированной беспечности – готовности делегировать принятие решений системам искусственного интеллекта – на очень большой шкале.

Джульетт Пауэлл и Арт Кляйнер – соавторы новой книги “Дилемма искусственного интеллекта: 7 принципов ответственной технологии”.