Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
За рамками прогноза
Хотя прогноз осуществляется на основании данных, доступных в конкретный момент, полностью полагаться на этот метод нельзя.
Эрнст Берджесс [195]
Ваши ученые были так заняты размышлениями о том, способны они на это или нет… что не подумали, а стоит ли им это делать вообще.
Джефф Голдблюм в роли Яна Малкольма, «Парк Юрского периода»
Одна из самых важных вещей в любом прогнозе – убедиться, что вы предсказываете то, что хотите знать. На деле это гораздо труднее, чем кажется.
К примеру, в конкурсе ImageNet, где AlexNet одержала победу в 2012 году, цель – научить машины распознавать изображения. Но в данных для обучения содержится другое. Они представляли собой то, что, по мнению добровольцев из Mechanical Turk, изображено на картинках. Если, скажем, человек будет раз за разом ошибочно определять львенка как кошку, это изображение станет частью данных для обучения как кошка, и у любой системы, определившей его как льва, будут урезаны очки и изменены параметры, чтобы исправить эту «ошибку».
Мораль этой истории такова: иногда «истина» таковой не является.
В случае с прогнозами криминального правосудия недостатки такого рода заметны еще сильнее. Для краткости часто говорят о прогнозировании самого рецидивизма, но данные для обучения под это не заточены. Они принимают во внимание не повторное совершение правонарушения, а повторный арест и повторное осуждение. Эта разница может быть критичной.
Кристиан Лам, ведущий статистик в Группе анализа данных по правам человека (Human Rights Data Analysis Group), и Уильям Айзек с кафедры политических наук университета штата Мичиган в 2016 году написали об этом в своей статье, посвященной использованию прогностических моделей в деятельности полиции:
«Поскольку данные собираются как побочный продукт полицейской работы, прогнозы на основании схем, полученных из этих данных не соответствуют будущим преступлениям. Они соответствуют только тем правонарушениям, о которых известно полиции. В этом смысле ее прогностическая деятельность названа надлежащим образом: она предсказывает работу полицейских, а не совершение преступлений [196].
Подобная критика появилась еще в 1930‐е годы. Когда в Иллинойсе вводилась предложенная Эрнстом Берджессом реформа процедуры УДО, критики – особенно скептически настроенные к тому, что освобожденные действительно вернутся в общество, – утверждали, что официальные лица недооценивают уровень повторных преступлений. В 1937 году Элмер Шнакенберг, лидер республиканского меньшинства в Палате представителей Иллинойса, жаловался: «Если условно-освобожденный не попался на преступлении в первый или второй год после освобождения, его… вносят в список исправившихся» [197].
Разрыв между тем, что мы намеревались измерить с помощью инструмента, и тем, что на самом деле содержат данные, должен в равной степени беспокоить и консерваторов, и прогрессистов. Система оценивает преступников, которые успешно избегают ареста, как «имеющих низкий риск», тем самым давая рекомендацию освобождать других таких же преступников. А люди, находящиеся под пристальным надзором полиции, и незаконно осужденные, становятся частью сомнительной эталонной статистики «имеющих высокий риск», вынуждая систему рекомендовать для них и им подобных тюремное заключение.
Это особенно беспокоит в контексте прогностической деятельности полиции, где данные для обучения используются, чтобы направить сами действия полиции, в свою очередь, создающие информацию об арестах. Так может получиться порочный круг [198].
Человек, совершающий преступление на территории, где полиция менее агрессивна или менее ответственно исполняет свои обязанности, будет помечен системой как некто, не имеющий рецидивов. И в этом районе станет меньше полицейских. Разница в деятельности правоохранительных органов между двумя похожими районами будет, скорее всего, только расти. Как подытоживают Лам и Айзек, «модель становится все более уверенной в том, что районы, где продолжается криминальная деятельность, – это места, которые ранее отличались высокой преступностью: систематическая ошибка отбора встречается с ошибкой подтверждения» [199]. Система начинает формировать реальность, которую должна прогнозировать. Петля обратной связи, в свою очередь, и дальше вносит отклонения в данные для обучения.
Есть способы смягчить влияние проблем на модель. COMPAS, к примеру, делает три разных прогноза «риска»: насильственное повторное преступление, повторное правонарушение и неявка в суд. В полицию куда чаще сообщают о насильственных преступлениях (например, об убийствах), чем о ненасильственных, и в связи с этим полиция чаще обеспечивает правовые санкции и аресты. И все неявки обвиняемых в суд по определению становятся известными судебной системе, не оставляя буквально никакого пространства для смещенной выборки данных или разницы в обеспечении правовых санкций. Мудрое использование инструментов оценки риска, таким образом, может придать особое значение насильственным повторным преступлениям и неявке в суд по сравнению с ненасильственными правонарушениями, основываясь на том, что данные для обучения модели более достоверны именно в этих случаях. Это ряд юрисдикций и начинает претворять в жизнь [200].
Среди других способов смягчения негативных последствий можно отметить попытку создать модель, принимающую в расчет большие расхождения в пресечении определенных правонарушений, к примеру, она будет относиться к чернокожему жителю Манхэттена, несколько раз арестованному по одному типу преступления, так же, как и к белому манхэттенцу, имеющему только один арест. (Разумеется, для этого потребуется, чтобы модель в качестве входных данных получала и расу обвиняемого.)
Второй, не менее серьезный вопрос, требующий разрешения, состоит в том, используем ли мы прогностическую модель – даже если она измеряет то, что требуется, – именно в предполагаемой области применения или для чего‐то другого.
Например, в некоторых штатах COMPAS используют, чтобы принимать решения при вынесении приговоров, что многие считают нелепым и даже неприемлемым. Рассказывает Кристина Ремингтон, помощник генерального прокурора штата Висконсин: «Я не хочу, чтобы в суде звучало: человек, стоящий перед нами, получил от COMPAS оценку риска в 10 баллов, и поэтому я прошу для него максимального приговора». Но COMPAS используется для вынесения приговоров, в том числе и в Висконсине. Когда житель этого штата Пол Зилли получил более длинный срок, чем ожидал, из-за оценки COMPAS, его государственный защитник вызвал в качестве свидетеля защиты никого иного, как Тима Бреннана. Бреннан подтвердил, что COMPAS не был разработан для вынесения приговоров [201]. Мы должны точно знать, для каких прогнозов разработан наш инструмент, и должны быть очень осторожны, используя его с иными параметрами. «Используйте только по назначению», – написано на этикетках рецептурных медикаментов. Такие напоминания необходимы и для машинного обучения.
Если взглянуть еще шире, мы можем бросить вызов одному из самых фундаментальных, пусть и негласных замыслов всего предприятия: лучший прогноз ведет к повышению общественной безопасности.
Поначалу кажется, что думать иначе – просто сумасшествие. Но есть причины остановиться и обдумать некоторые предположения, скрывающиеся за этой точкой зрения.
Профессор правоведения Колумбийского университета Бернар Аркур в
