Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
В эпоху Возрождения (XV и XVIII века) эти вопросы активно обсуждались. Некоторые богословы отстаивали лаксизм: действие считается допустимым, пока остается шанс, что оно не содержит греха. Это течение было осуждено папой Иннокетием IX в 1591 году. Другие защищали ригоризм: действие осуждается, если есть хотя бы малейшая вероятно, что оно греховно. Папа Александр VIII запретил ригоризм в 1690 году [773].
Существовало множество конкурирующих теорий, пытавшихся оценить, насколько вероятно, что то или иное правило истинно, или какой процент разумных людей считает его таковым. Например, пробабилиоризм утверждал, что можно совершать действие, если оно с большей вероятностью не несет греха. Эквипробабилизм полагал, что действие допустимо, если шансы на греховность и безгрешность абсолютно равны. «Чистые пробабилисты» считали, что правило не может считаться строгим, пока есть «разумная» вероятность, что оно неверно. Их лозунг – Lex dubia non obligat («Сомнительное право не обязывает»). При этом они подчеркивали: аргумент в пользу игнорирования правила не должен быть лишь «едва возможным» – он обязан быть «истинно и убедительно вероятным» [774].
Дискуссии порождали потоки чернил, обвинения в ереси и папские буллы. В авторитетном «Руководстве по моральному богословию» раздел «Сомнения совести или моральные сомнения» завершается «Практическим заключением»: ригоризм слишком строг, лаксизм слишком легкомыслен, но к остальным подходам «церковь терпима» и может рассматривать их как моральные эвристические правила [775].
Если выйти за рамки теологии, те же аргументы можно применить к светской морали и даже к машинному обучению. Допустим, у вас есть несколько формальных критериев. «Лаксистский» подход позволит действовать, пока хотя бы один критерий улучшается№ «ригористский» потребует, чтобы ни один критерий не ухудшался.
Некоторое время эти споры затихли – даже среди католиков они утратили остроту. Однако в последние годы к ним вновь пробуждается интерес.
В 2009 году Уилл Макаскилл из Оксфорда и его сокурсник-аспирант Дэниель Дизи спорили в кладовке с метлами в подвале факультета философии (Мертон-стрит, 10) о том, допустимо ли есть мясо. «Это было единственное свободное место, которое мы нашли в колледже, – вспоминал Макаскилл. – Места хватало лишь чтобы прилечь. Мы сидели на грудах книг и других вещей и даже шутили». Шутка касалась научного реководителя Макаскилла – оксфордского философа Джона Брума.
Суть спора была не в том, аморально ли есть мясо само по себе, а в том, стоит ли его есть, если вы не уверены, что это аморально. «Если вы решите есть вегетарианскую пищу, – пояснял Макаскилл, – и окажется, что есть мясо допустимо, вы не совершите большой ошибки. Вы лишитесь лишь чуть-чуть удовольствия, но это неважно. Но если вегетарианцы правы и страдания животных морально значимы, то вы совершаете нечто глубоко неправильное. Здесь есть явная асимметрия. Вам не нужно быть абсолютно уверенным, что есть мясо неправильно: достаточно существенного риска, что это так».
Этот разговор заинтересовал Макаскилла. Аргумент выглядел убедительно, но он отличался от типичных вопросов этической философии: «Как правильно поступить, учитывая некий моральный стандарт?» и «Какой стандарт выбрать, чтобы определить правильное действие?». Здесь вопрос звучал иначе: «Как поступить, когда вы не знаете, какое действие правильно?» [776]
Макаскилл последовал совету своего научного руководителя Джона Брума: «Если тебя это заинтересовало, поговори с Тоби Ордом».
Уилл Макаскилл и Тоби Орд встретились на оксфордском кладбище – так началась самая плодотворная дружба в истории этики XXI века. Вместе с философом из Стокгольмского университета Кристером Биквистом они основали движение «эффективный альтруизм» – пожалуй, самое значительное этическое движение начала века [777]– и написали книгу о моральной неопределенности [778].
Существует несколько способов выбрать между конкурирующими теориями, когда вы сомневаетесь, какая из них верна. Подход «Моя любимая теория» говорит следовать той теории, которую считаете истинной. Но так можно упустить случаи, когда потенциальная ошибка настолько серьезна, что ее лучше избежать, даже если она маловероятна [779]. Другой подход – умножение вероятности справедливости теории на предполагаемый вред: не все теории позволяют легко классифицировать степени правильности и неправильности [780]. Эти подходы находят аналоги в машинном обучении. «Моя любимая теория» напоминает создание единственной наиболее вероятной модели вознаграждений или целей пользователя, которую затем оптимизируют. Теории усреднения соответствуют методам ансамблей, где берут средние значения нескольких систем. Но существуют и более сложные схемы.
Макаскилл сравнивает моральные теории с избирателями на выборах, что позволяет применить к ним «теории социального выбора» – дисциплину о групповом принятии решений [781]. Орд развивает метафору дальше: моральные теории – не просто избиратели, а законодатели в «парламенте морали», способные идти на компромиссы и формировать коалиции [782]. Эти идеи применимы не только к людям, но и к вычислительным системам, которым нужно найти способ поведения при отсутствии единого определенного стандарта. Многие из этих вопросов слабо изучены и в философии, и в информатике [783].
Для Макаскилла моральная неопределенность имеет не только описательный, но и предписывающий аспект. Нам нужно не только найти способы выбрать правильное действие в условиях неуверенности, но и сознательно поддерживать это ощущение неопределенности.
Учитывая, как менялись этические нормы за последние столетия, Макаскилл считает самонадеянным полагать, что мы уже достигли окончательного результата: «Мы видим, что моральный прогресс идет по дуге или по расширяющемуся кругу. Возможно, вы думаете, что мы достигли конца. Но вы точно не должны быть в этом уверены. Вероятно, через сто лет мы будем считать наши нынешние моральные представления варварскими».
Я вижу иронию в том, что Макаскилл – лидер движения эффективного альтруизма – наблюдает, как это движение стремится к широкому консенсусу. Существуют широко распространенные соглашения: о ценности далекого будущего; о важности снижения цивилизованных рисков и риска вымирания; о том, какие пожертвования приносят максимальную пользу (например, решение компании GiveWell в 2019 году передать 4,7 млн. долларов Фонду против малярии – Against Malaria Foundation, AMF) [784].
Макаскилл видит в этом обоюдоострый инструмент: с одной стороны, это обмен информацией и доверие к аргументам, с другом – риск преждевременного консенсуса. «Можно сказать: „Существуют правильные ответы, мы только что решили, что есть истина, и теперь делаем это“. А можно иначе: „Мы были разобщенным племенем, а теперь становимся единым целым…“. Слишком самонадеянно полагать, что эффективный альтруизм избежит этого.
Он отмечает: если вернуться на шесть лет назад, понятие эффективного альтруизма понималось шире, было много фракций и споров. Сейчас уровень согласия выше – особенно в ядре движения. Например, почти достигнут консенсус о важности далеких перспектив и о необходимости внимания к ИИ для этого будущего. «Согласие может быть прекрасным и тревожным одновременно», – говорит Макаскилл.
Осенью
