Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Тим Бреннан работал на компанию Unilever в Лондоне, создавая статистические модели иного рода: он был ведущим экспертом компании по сегментации рынка. Один из его проектов делит покупателей туалетного мыла на тех, для кого на первом месте романтический флер, и на тех, кто предпочитает мягкость кожи. Бреннан хорошо справлялся со своей работой и любил ее, но что‐то пошло не так. «Я переживал кризис ценностей», – рассказывал мне Бреннан. На его стол попал один доклад, и Тим заметил, что за последний год на разработку упаковки линии жидкого средства для мытья посуды Sqezy – поиск слов и цветов, которые привлекут внимание на полках супермаркетов, в соответствии с последними достижениями психологии восприятии, – у Unilever ушло больше средств, чем все британское правительство потратило на борьбу с безграмотностью [132].

«На дворе был конец шестидесятых, – рассказывал Бреннан. – Это было время хиппи. Я не мог смотреть, как разрабатывают упаковку для Sqezy. Так что я уволился с работы и поступил в аспирантуру». В итоге он оказался в Ланкастерском университете, где применял свои статистические методы для исследования сегментации рынка к проблеме образования – определению студентов с различными особенностями восприятия и разными потребностями в процессе обучения [133].

Переехав со своей девушкой в Соединенные Штаты, Бреннан оказался в университете Колорадо и работал с Делбертом Эллиотом, который позднее стал президентом Американского криминологического общества. В итоге Тим основал свою собственную исследовательскую фирму, работающую с Национальным институтом исправительных учреждений и Управлением по оказанию помощи правоохранительным органам. Его методы классификации нашли еще одно применение: они дали более единообразный и систематический подход к тюрьмам, которым приходится распределять заключенных по койкам и камерам в зависимости от рисков и потребностей, думая и о безопасности, и о реабилитации. Обычно это делали случайным образом или опираясь на интуицию. Математика Бреннана подсказала лучший способ.

Бреннан съездил в Траверс-Сити, штат Мичиган, где услышал о новаторской работе по машинному обучению на основе так называемых моделей «дерева решений», чтобы классифицировать заключенных и – в качестве реакции на избыточное наполнение тюрем – определять, кого из них можно освободить. Тогда Бреннан встретился с «этим молодым парнем … с всклокоченными волосами и бородой», который изобрел модель. Парня звали Дэйв Уэллс. «Он рвался реформировать систему уголовного правосудия, – рассказывал Бреннан. – Для Дэйва это было работой мечты». Бреннан и Уэллс решили объединиться [134]. Свою компанию они назвали Northpointe.

С расцветом эпохи персональных компьютеров статистические модели стали использоваться повсюду в системе уголовного правосудия, в рамках крупной и малой юрисдикции. В 1980 году только четыре штата применяли статистические модели при принятии решений об условно-досрочном освобождении. К 1990‐му таких штатов было двенадцать, а к 2000‐му – двадцать шесть [135]. Неожиданно странным стало не пользоваться такими моделями. Как говорится в «Руководстве для новых членов комиссии по условно-досрочному освобождению», которое в 2003 году выпустила Международная ассоциация органов УДО, «в наши дни принятие решений об условно-досрочном освобождении, не пользуясь преимуществами хорошего, основанного на научных исследованиях инструмента для оценки рисков, не удовлетворяет в полной мере общепринятым передовым методам работы» [136].

Один из наиболее широко используемых инструментов этой новой эпохи был разработан Бреннаном и Уэллсом в 1998 году, они назвали его Correctional Offender Management Profiling for Alternative Sanctions или COMPAS [137]. Программное обеспечение использует простую статистическую модель, основанную на линейной комбинации с весовыми коэффициентами. Туда входят параметры вроде возраста, возраста при первом аресте и криминальной истории, чтобы предсказать, совершит ли заключенный насильственное или ненасильственное преступление за срок от одного до трех лет после освобождения [138]. Также инструмент включает широкий набор вопросов для определения проблемы и нужды конкретного обвиняемого – например, отсутствие поддержки со стороны семьи и депрессия. В 2001 году в штате Нью-Йорк стартовала пилотная программа, использующая COMPAS для принятия решений об УДО. К концу 2007 года программное обеспечение применялось в уголовно-исполнительных инспекциях всех пятидесяти семи графств за пределами города Нью-Йорк. К 2011‐му была принята поправка к закону штата, требующая использования программы для оценки рисков и нужд заключенных наподобие COMPAS при принятии решений об условно-досрочном освобождении [139].

Но с точки зрения редакции New York Times существовала проблема: штат не пользовался этими программами в достаточной мере. Даже там, где использование было введено приказом, эти инструменты не всегда получали должное внимание. Газета призывала к более широкому применению инструментов оценки риска в сфере УДО, написав в 2014 году: «Такие программы, как COMPAS, показали себя в работе» [140]. В 2015 году, когда решение о реформе системы условно-досрочного освобождения было передано на рассмотрение в верховном суде штата, редакция New York Times опубликовала статью с мнением незаинтересованной стороны, утверждающей, что такие статистические инструменты оценки рисков, приводят к очевидным улучшениям. Они заявили, что комиссия по УДО штата Нью-Йорк «упрямо держится за прошлое, регулярно отказывая в освобождении имеющим большие сроки заключенным, основываясь на субъективных, часто не поддающихся проверке суждениях». Применение COMPAS, как указывали авторы статьи, «переместит комиссию в XXI век» [141].

Затем – внезапно – тон публикаций изменился.

Девять месяцев спустя, в июне 2016 года, газета выпустила статью «Висконсин неожиданно бурно выступил против использования данных для прогнозов будущего заключенных, получающих условно-досрочно освобождение», в которой близко к тексту были процитированы слова директора Проекта реформирования уголовного законодательства Американского союза защиты гражданских свобод: «Я думаю, мы несколько поторопились шагнуть в завтрашний день, начав оценивать риски с помощью больших данных» [142].

С этого момента освещение событий в прессе становилось все более мрачным: в мае 2017‐го – «Отправлен в тюрьму тайным алгоритмом программы», в июне – «Компьютер держит тебя в тюрьме», в октябре – «Алгоритм помогает отправить тебя в тюрьму».

Что же произошло?

Этому есть только одно объяснение – ProPublica.

Получение данных

Джулия Энгвин росла в Кремниевой долине в 1970‐е и 1980‐е годы. Она была дочерью двух программистов и жила по соседству со Стивом Джобсом. С раннего возраста девочка собиралась стать программистом. Но позже открыла для себя журналистику и была ей очарована. К 2000 году Джулия стала техническим репортером Wall Street Journal. «Это было уморительно, – вспоминает она. – Они такие: „Вы знаете компьютеры? Мы возьмем вас на работу, чтобы вы писали про Интернет!“ А я такая: „Что‐то конкретное про Интернет?“ А они: „Нет, все подряд!“» [143]

Энгвин проработала в газете четырнадцать лет – со времен краха доткомов до подъема социальных сетей и смартфонов – и писала не только о технологиях, но и о социальных вопросах, которые они поднимали. Она стала автором длинной серии статей о проблемах, связанных с конфиденциальностью, под названием «Что они знают». Из газеты Джулия ушла в 2013 году, чтобы написать книгу о защите личных данных [144].

Из творческого отпуска Энгвин так и не вернулась в Wall