Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Выступая с президентской речью на ежегодной конференции Ассоциации по развитию искусственного интеллекта (Association for the Advancement of Artificial Intelligence, AAAI), Диттерих отметил, что во второй половине ХХ века ИИ совершил путь от работы с «известными известными» (дедукция и планирование) к работе с «известными неизвестными» (причинно-следственные связи, логические выводы и вероятности).
«Так что же нам делать с „неизвестными неизвестными“? – обратился он к залу, словно бросая вызов. – Думаю, это естественный шаг вперед для нашей отрасли» [709].
Знать, когда не знаешь
Дайте исключениям обнаружить, доказать себя, получше укрепиться, прежде чем применять по отношению к ним особые методы.
Жан-Жак Руссо [710]
Невежество предпочтительнее ошибки; тот, кто не знает ничего, ближе к истине, чем тот, кто обладает ложным знанием.
Томас Джефферсон [711]
Как мы уже убедились, одна из причин печально известной уязвимости современных систем компьютерного зрения в том, что их обучают в искусственном мире. В нем все, что видит система, принадлежит к одной из немногих категорий. В реальности же подавляющее большинство комбинаций пикселей, с которыми может столкнуться программа, вообще ни на что не похожи.
Традиционные системы устроены так, что их ответ всегда формулируется как распределение вероятностей внутри конечного списка классов – и неважно, насколько абсурдно выглядят исходные данные. Неудивительно, что такие ответы часто лишены смысла. Если показать нейросети чизбургер, психоделический фрактал или геометрическую сетку и спросить, насколько она уверена, что это кошка, а не собака, какой ответ вообще можно считать адекватным? Изучение подобных ситуаций и составляет суть «проблемы открытой категории».
Но если оставить в стороне отсутствие ответа «ничто из вышеперечисленного», существует и другая проблема: модели не просто пытаются втиснуть неизвестное в рамки знакомых категорий – они делают это с пугающей самоуверенностью. Эти две проблемы идут рука об руку: система решает, что «это больше похоже на собаку, чем на кошку», и в итоге выдает ответ с феноменально высокой степенью «уверенности», которая не отражает того факта, что картинка вообще не похожа ни на что виденное ею ранее.
Ярин Галь руководит группой прикладного и теоретического машинного обучения в Оксфорде, где преподает в течение учебного года, а летом читает лекции в NASA. Как он с усмешкой рассказал мне, его первая лекция – еще до того, как написана первая строчка кода, доказана теорема или обучена модель – практически полностью посвящена философии [712].
Его студенты играют в игры, где учатся аргументировать позицию в спорах, переводить свои убеждения и догадки в вероятности и с нуля выводить законы теории вероятностей. Это гносеологические игры. Что вы знаете? Во что верите? Насколько вы в этом уверены? «Это дает отличный фундамент для машинного обучения, – говорил Галь. – Вы учитесь создавать алгоритмы и цифровые инструменты, которые опираются на подобные принципы рациональности, чтобы работать с фактором неопределенности».
В этом кроется ирония: глубокое обучение, несмотря на свои давние статистические корни, как правило, игнорирует неопределенность. Разумеется, существует богатая традиция теоретических работ по теории вероятностей, но они редко становятся ядром реально работающих систем. Практические модели создают для классификации данных или выполнения действий в упрощенных средах, и неопределенность обычно остается за скобками.
«Скажем, я дам вам стопку фотографий собак и попрошу создать определитель пород, – рассуждал Галь. – А потом дам для классификации вот это».
Он протягивает фотографию кошки.
«Чего бы вы ждали от своей модели в такой ситуации? Не знаю как вы, а я бы не хотел, чтобы моя программа относила кошку к одной из пород собак. Я хочу, чтобы она сказала: „Я не знаю. Я никогда не видела ничего подобного. Это выходит за границы моих данных. Я не буду угадывать породу“. Сейчас это кажется надуманным примером. Но подобные ситуации сплошь и рядом возникают при принятии решений в физике, биологии и медицине. Представьте, что вы врач, и от решения модели (есть ли у пациента рак) зависит, начинать лечение или нет. Я бы не стал доверять алгоритму, который не умеет сообщать, насколько он уверен в своих выводах» [713].
Бывший научный руководитель Галя Зубин Гахрамани, профессор Кембриджского университета и глава лаборатории ИИ в Uber, согласен с тем, что отсутствие фактора неопределенности в нейросетях может быть опасным. «Во многих промышленных сферах от таких систем просто будут держаться подальше, – уверял Гахрамани. – Людям нужно четко понимать границы возможностей системы» [714].
Еще в 1980‐х и 1990‐х годах исследователи изучали идею так называемых байесовских нейронных сетей, которые оперируют вероятностями и неопределенностью не только в финальных ответах, но и в самой своей архитектуре. Как мы помним, суть нейросети – это веса связей между нейронами (числа, на которые умножаются сигналы). В байесовской нейросети вместо жестко заданных чисел используются распределения вероятностей. Например, вместо точного значения «0,75» связь имеет форму колоколообразной кривой с пиком около 0,75, отражающей степень уверенности алгоритма в том, каким должен быть этот вес. В процессе обучения этот разброс (неуверенность) может сужаться, но никогда не исчезает полностью.
Но как пользоваться моделью, в которой параметры не заданы жестко, а «плавают»? Очевидно, что нельзя легко перемножить десятки миллионов вероятностных распределений. Но можно просто брать из них случайные значения. При одном прогоне модель умножит сигнал конкретного нейрона на 0,71. При следующем – достанет случайное число 0,77. Из-за этого модель перестает выдавать один и тот же ответ. Сейчас она увидит на картинке добермана, а через секунду на ней же – корги.
Но это не баг, а фича. Вариативность ответов позволяет оценить надежность модели. Если при каждом прогоне ответы радикально меняются (от добермана до тако и от кожной сыпи до дивана), вы понимаете: происходит нечто странное, модель не понимает, что видит. Но если результаты множества прогонов кучно ложатся в узкий диапазон, вы можете быть уверены: алгоритм действительно понимает, с чем имеет дело [715].
Но эта прекрасная теория разбивалась о суровую практику. Никто не знал, как обучить такие сети за адекватное время. «Если обратиться к истории нашей отрасли, байесовский подход всегда считался идеалом, к которому нужно стремиться, – объясняет Галь. – Проблема в том, что он требует неподъемных вычислительных мощностей… У нас есть эта красивая математика, но применить ее на практике было почти невозможно» [716]. Говоря проще, метод не масштабировался и потому был предан забвению [717].
Но сейчас ситуация меняется. «По сути, мы переживаем его воскрешение», – отмечал Галь.
Уже давно понятно, что байесовскую неопределенность можно сымитировать с помощью ансамблей – то есть обучить не одну
