Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
ProPublica уделила особое внимание видам ошибок, которые делал COMPAS, и подчеркнула, что программа постоянно переоценивала риски чернокожих обвиняемых, которые в будущем не совершали правонарушений, и недооценивала риски белых, нарушавших закон после УДО. Northpointe делала акцент не на типе ошибок, а на их величине, и придавала особое значение тому, что модель одинаково точна в прогнозах для чернокожих и белых обвиняемых и, более того, по каждой степени риска от 1 до 1 °COMPAS был откалиброван: обвиняемого могли освободить независимо от его расы и полученной оценки риска. Таким образом, вопрос о степени справедливости COMPAS разжег конфликт между двумя разными математическими определениями той самой справедливости.
Как иногда случается в науке, определенная идея или открытие созревает настолько, что несколько команд приходят к ней практически одновременно.
Появилось сразу три статьи [173]. Все три исследования привели к схожим, дополняющим друг друга результатам. Новости были не слишком хорошими.
Поставив во главу угла определение справедливости от ProPublica – предубеждение к чернокожим обвиняемым, которые совершали повторные преступления в два раза реже, чем их белые «коллеги», но были ошибочно отнесены к категориям с высоким риском, – Клейнберг написал: «Можно объединить это определение с другими, на которые люди обращают больше внимания, и спросить: „До какой степени они совместимы?“ Ответ: они не совместимы вообще».
Только в мире, где черные и белые обвиняемые будут иметь одинаковую «базовую ставку» – то есть совершать повторные преступления одинаково часто, – появится возможность удовлетворять критериям ProPublica и Northpointe одновременно. Иначе это просто невозможно.
Это никак не связано с машинным обучением. Не имеет отношения и к уголовному правосудию как таковому. «Это просто факт, – пишут Клейнберг и его коллеги, – имеющий отношение к оценкам рисков, когда базовая ставка у двух групп отличается» [174].
Анализ Чулдеховой пришел к тем же выводам. Она пишет, что откалиброванный инструмент «не может выдавать одинаковые ложноположительные и ложноотрицательные рейтинги в разных группах, когда показатель рецидивизма между этими группами отличается».
«Невозможно получить все сразу, – говорила она. – Это общий принцип, но в данном случае он подводит к интересным умозаключениям… имеющим последствия при оценке рисков в реальном мире» [175].
Например, если ни одна модель не в состоянии удовлетворить всем критериям, тогда попытка разоблачения любого инструмента оценки рисков гарантировано окончится чем‐нибудь неприятным и достойным заголовков в газетах.
Как объяснял Сэм Корбетт-Дэвис, «не существует такого мира, где ProPublica не найдет то, что можно назвать неравенством. Не существует такого алгоритма – такой версии COMPAS, – который не дал бы этой статье появиться на свет» [176].
(По иронии судьбы, в своем анализе данных округа Брауард Корбетт-Дэвис обнаружил, что COMPAS не откалиброван в отношении пола. «Женщина с оценкой риска 5 совершает повторные преступления так же часто, как и мужчина с оценкой 3, – утверждал он [177]. – [ProPublica] могла бы написать статью и об этом».) [178]
Бесчувственный математический факт невозможности существования таких алгоритмов также означает, что проблема влияет не только на модели машинного обучения, оценивающие риски, но и на любые средства классификации, которыми пользуется человек или машина. Как пишет Клейнберг, «любое присваивание оценок риска субъективно и может быть подвергнуто критике из-за предвзятости. Это одинаково верно и для тех случаев, когда оценка риска определяется алгоритмом, и для тех, когда она определяется людьми с помощью традиционной процедуры» [179].
Установив, что невозможно согласовать очень разные критерии справедливости, которые кажутся интуитивно понятными и желательными, и что старомодное человеческое правосудие при этом не лучше, остается задать один вопрос.
А что теперь делать?
За пределами невозможности
Я спросил Джона Клейнберга, что он думает о полученном результате – о невозможности существования справедливых алгоритмов, – и что, по его мнению, нам делать. «Я не скажу ничего сенсационного, – ответил он. – Думаю, в зависимости от обстоятельств… оба определения важны. И то, какое из них будет иметь больший вес, зависит от вашей сферы деятельности».
Действительно, критические аспекты этого компромисса кардинально меняются в разных областях. Возьмем, к примеру, кредитование, которое отличается от уголовного судопроизводства. Отказать в ссуде тому, кто ее выплатит, значит не только потерю процентов для заимодавца, но и серьезные последствия для заемщика. Допустим, он не сможет купить дом или начать свое дело. С другой стороны, дать ссуду тому, кто ее не вернет, означает только денежные потери для заимодавца. Эта асимметрия может влиять на восприятие справедливости. Мы хотим быть уверенными, что все кредитоспособные заемщики из двух разных групп имеют одинаковые шансы на получение ссуды, даже когда математика говорит, что тогда снизятся не только прибыли заимодавцев, но в той или иной группе кредит получат больше недостойных людей [180].
Однако в правосудии и – особенно – когда речь идет о тяжких преступлениях, и ложноположительные (люди с высокими оценками риска, не совершающие новых преступлений), и ложноотрицательные результаты (люди с низкими оценками риска, которые становятся рецидивистами) ведут к человеческим жертвам. Компромисс, на который мы готовы пойти, будет в результате совершенно иным.
Сэм Корбетт-Дэвис, к примеру, утверждал, что выравнивание ложноположительных оценок в контексте оценки риска – черные или белые обвиняемые, которые не совершат повторных правонарушений, не содержатся под стражей напрасно, – приведет к применению разных стандартов для обвиняемых разных рас до тех пор, пока реальный уровень нарушений отличается. Например, в тюрьме будет оставаться каждый чернокожий обвиняемый с оценкой риска 7 и выше и каждый белый с оценкой от 6. Такой подход, как считает Корбетт-Дэвис, «может нарушать пункт о равной защите законом Четырнадцатой поправки» [181].
По мнению Корбетт-Дэвиса, в действительности дела обстоят еще хуже: «Поскольку мы станем удерживать в тюрьме обвиняемых с более низкой степенью риска и выпускать людей с относительно высоким риском, произойдет рост тяжких преступлений, совершенных освобожденными преступниками. И так как мы
