Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
«Так что я подумала, – рассказывает Джулия, – что мне нужно переходить к вопросу использования информации. Это следующий сюжет. Что они будут с ней делать?.. К каким выводам о вас они придут?» [145]
Энгвин попыталась найти наиболее значимые и незаслуженно обойденные вниманием решения, которые принимаются на основании больших данных. Она обратилась к уголовному правосудию. Статистическая оценка риска с помощью COMPAS и других программ быстро внедрялась во многих правовых аспектах: не только для условно-досрочного освобождения, но и для выбора меры пресечения и размера залога, а также при вынесении приговоров. «Я была в шоке, – рассказывает Джулия. – Стало ясно, что вся страна пользуется этими программами… И в еще большее изумление меня повергло, что ни одна из них не прошла независимых проверок».
Например, штат Нью-Йорк, который использовал COMPAS с 2001 года, сделал ее первую официальную оценку в 2012‐м, спустя одиннадцать лет. (В конце концов, Нью-Йорк пришел к выводу, что программа была «эффективна и точна в прогнозах».) [146]
Такие истории встречаются удивительно часто. Четвертый юридический округ Миннесоты, который проводит 40 % слушаний во всем штате, в 1992 году разработал свой собственный инструмент досудебной оценки рисков. «Отчет, написанный в то время, предполагал, что новая шкала пройдет сертификацию в течение первых нескольких лет применения, – так начинается документ об официальной оценке. – Как выяснилось, ее срок затянулся на 14 лет» [147].
Давно назревшая аттестация, проведенная в 2006 году, выявила, что четыре переменных модели – живет ли обвиняемый в Миннесоте более трех месяцев, живет ли он один, его возраст в момент задержания и факт применения оружия в деле – не имели буквально никакого влияния на риск нового правонарушения в ожидании суда или на то, появится ли подудимый на слушании. Тем не менее, на этих основаниях модель рекомендовала досудебное содержание под стражей. Куда хуже то, что три из четырех параметров были в сильной корреляции с расой. Округ отказался от этой модели и начал с чистого листа [148].
Чем больше Энгвин узнавала о моделях оценки рисков, тем больше беспокоилась. Она поняла, что нашла тему для следующего расследования: «С точки зрения журналиста это идеальная комбинация факторов: вопрос, который ранее никогда не освещался, на кону стоят человеческие судьбы, к тому же эксперты утверждают: „Все эти факторы – косвенные показатели расовой принадлежности“. И я решила: „Проверю сама!“» [149].
Джулия сосредоточила внимание на программе COMPAS, которая использовалась не только в Нью-Йорке, но и в Калифорнии, Висконсине и Флориде, охватывая более двухсот юрисдикций. Программа встречалась повсюду. В то время она была не слишком хорошо изучена, будучи патентованным коммерческим инструментом с закрытым исходным кодом, хотя его базовый проект и описывался в правительственных информационных документах. То есть программа представляла собой что‐то вроде «черного ящика». В апреле 2015 года Энгвин подала запрос в округ Брауард, штат Флорида в рамках закона о свободном доступе к информации. После пяти месяцев юридических препирательств она наконец получила данные – все восемнадцать тысяч оценок COMPAS, сделанных в округе Брауард в 2013 и 2014 годах.
Команда Энгвин начала проводить предварительный анализ данных. Тут же кое-что показалось странным. Оценки рисков, делавшиеся в диапазоне от 1 (минимальный риск) до 10 (максимальный риск), были более или менее равномерно распределены между чернокожими обвиняемыми, на которых приходилось примерно 10 % в каждой из десяти категорий. Для белых картина была совершенно иной: гораздо больше обвиняемых попадало в категории с меньшим риском и гораздо меньше – в категории с высоким.
У Энгвин было искушение опубликовать свое открытие здесь и сейчас. Но она понимала, что такое распределение не обязательно говорит о систематической ошибке: возможно, именно такими и были риски этих конкретных обвиняемых. Правда ли это? Был только один способ проверить. «Вывод был неутешительный, – вспоминает Джулия. – Мы должны были проверить сведения о судимости всех восемнадцати тысяч человек. Мы это сделали. Пришлось помучиться» [150]. На то, чтобы соединить оценки COMPAS с набором сведений о судимости – так называемое объединение – у Энгвин, ее команды и представителей округа ушел практически еще целый год.
«Понятно, что мы много пользовались автоматическим скрейпингом записей о судимости, – объясняет она. – А потом приходилось сопоставлять полученные данные по имени и дате рождения. Это самая ужасная вещь, какую только можно представить. Очень много опечаток и ошибок в написании. Временами я плакала едва ли не каждый день. Объединять было ужасно! Все данные перепутаны. Округ Брауард никогда не занимался подобной работой» [151]. Сотрудники администрации округа присоединились, чтобы помочь ProPublica вычистить данные и разобраться в них.
В результате получилась статья, которую Энгвин и ее команда опубликовали в мае 2016 года. Озаглавленная «Машинное неравноправие», она вышла с аннотацией: «Существует программное обеспечение, которое используется по всей стране для прогноза будущих преступлений. И оно настроено против чернокожих» [152].
В начале июля того же года Бреннан и его коллеги из Northpointe опубликовали официальное опровержение доводов ProPublica [153]. По их словам, «при использовании корректных статистических данных, на основании которых проводится классификация, заявление ProPublica о расовом неравноправии чернокожих не подтверждается» [154]. То есть Northpointe объявила, что COMPAS соответствует двум главным критериям справедливости.
Во-первых, прогнозы программы были одинаково точны как для черных, так и белых обвиняемых. Во-вторых, оценки рисков от 1 до 10 имели одно и то же значение, независимо от расы обвиняемого – это свойство еще называют калибровкой. К примеру, обвиняемые, получившие оценку риска совершения тяжкого преступления от 7 до 10, независимо от расовой принадлежности продолжают совершать повторные преступления в том же проценте случаев; то же самое верно и для степени риска 2, 3 и так далее. Единица – это единица, пятерка – это пятерка, десятка – это десятка, и неважно, к какой расе относится обвиняемый. У COMPAS были оба этих свойства – равная точность и калибровка. Поэтому, по мнению Northpointe, с точки зрения математики систематические ошибки инструмента были невозможны.
К концу июля ProPublica, в свою очередь, опубликовала ответ [155]. Заявления Northpointe, писали они, совершенно справедливы. COMPAS действительно был откалиброван и имел одинаковую точность в обеих группах, делая прогнозы того, совершат ли обвиняемые повторное преступление (рецидив) и будут ли снова арестованы, с точностью 61 % и для белых, и для черных. Тем не менее, в 39 % случаев программа ошибалась, и ошибалась она совершенно иным образом.
При рассмотрении обвиняемых, которых модель оценила неверно, выявилось поразительное неравенство: «Чернокожие обвиняемые в два раза чаще получали
