Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

своей книге «Против прогнозов» (Энгвин цитирует ее как эпиграф к своей работе) поднимает несколько таких вопросов. Он считает, что связь между улучшением прогнозов и уменьшением преступности не настолько прямолинейна и бесспорна, как может показаться. Например, представьте прогностический инструмент, который определяет, что самые опрометчивые водители – это мужчины. Вполне возможно, что агрессивные гонения на водителей мужского пола не приведут к значительному понижению их безрассудности, но подтолкнут водителей-женщин, которых будут реже останавливать, к более неаккуратному поведению за рулем. Дороги в среднем могут стать менее безопасными из-за использования прогнозов. «Другими словами, – подытоживает Аркур, – профилирование по более высоким показателям преступности в прошлом, настоящем или будущем может быть абсолютно непродуктивным с точки зрения главной цели правоохранительной деятельности – сведения преступлений к минимуму» [202]. Такого рода сценарии, приводящие к обратным результатам, не настолько маловероятны или редки, как может показаться, считает Аркур. Если разница в контроле за соблюдением законов поощряет пропущенную группу больше, чем удерживает тщательно исследованную, это может только усугубить проблему.

Прогнозы также могут не достичь конечной цели – сделать общество безопаснее, – если не превратятся в действия. В 2013 году в Чикаго запустили пилотную программу для снижения уровная вооруженного насилия, создав «Оперативный список граждан» (неофициально – «горячий список»), где перечислены люди с высоким риском стать жертвами вооруженных нападений. Эти люди становились жертвами насильственных преступлений в 233 раза чаще, чем средний житель Чикаго. В этом смысле прогнозирующие возможности списка казались безукоризненными. Тем не менее убийства происходили так редко, что даже в «горячем списке» их жертвами стали только 0,7 %. Что же тогда делать с этими прогнозами? Каким образом вмешательство в жизнь тысячи людей может помочь тем семерым, кого действительно убьют?

«Эффективно используя современные средства анализа данных, полицейские департаменты, возможно, смогут более эффективно определять будущих жертв преступлений и принимать меры», – отмечал доклад 2016 года корпорации RAND, посвященный прогностической деятельности полиции Чикаго [203]. Тем не менее «одно только улучшение точности прогнозов может не привести к снижению преступности… важнее, чтобы правоохранительные органы имели больше информации о том, что делать с этими прогнозами» (курсив мой) [204].

Прогнозы не были самоцелью. Что лучше: мир, в котором мы на 99 % можем быть уверены, где и когда произойдет преступление, или мир, где на 99 % меньше преступлений? В фанатичной гонке за точностью прогнозов или, если уж на то пошло, за справедливостью отдельно взятого прогностического инструмента мы можем упустить нечто большее [205].

В досудебном освобождении, для которого COMPAS и был разработан, есть похожий разрыв между прогнозами и их применением, что следует рассмотреть более подробно. Прогноз, утверждающий, что кто‐то не явится в зал суда, не обязательно означает, что человека нужно содержать под стражей все это время [206].

Александра Чулдехова объясняет: «Если вы подумаете об этом с такой точки зрения, то решите, что эта группа населения заслуживает особого внимания. Возможно, они в меньшей степени способны позаботиться по себе. Может быть, у них не такой высокий риск, но более сильная нужда». Возможно, им нужно, чтобы кто‐то присмотрел за детьми в этот день или подвез их в суд, а не получить штраф. Как выяснилось, простое напоминание о дате суда может значительно повысить явку обвиняемых [207]. К несчастью, в отличие от COMPAS многие инструменты оценки риска отождествляют неспособность явиться в суд с прогнозом криминальных правонарушений [208]. Если одну потенциально рискованную ситуацию можно решить лишением свободы, а другую – текстовым сообщением, это можно считать огромной проблемой.

Эта точка зрения тесно переплетается с мнением Тима Бреннана. Информационный лист COMPAS, который показывают судье, разработан так, чтобы оценка риска выделялась красным цветом, а оценка потребностей – зеленым. «Зеленым, – говорит Бреннан, – потому что это поможет человеку» [209]. Главной идеей было освободить из-под стражи как можно больше обвиняемых и определить их на лечение, под наблюдение общества и так далее – в конце концов, AS в COMPAS обозначает «альтернативные меры пресечения» (Alternative Sanctions). Но некоторые судьи рассматривают «потребности» – бездомность, отсутствие близких людей – не как путь к реабилитации, а как новые поводы для содержания под стражей [210]. Разумеется, чтобы применить к человеку альтернативные санкции, направить его на лечение, обучение, психологическое консультирование, нужно, чтобы такие услуги действительно существовали. Если их нет, тогда это проблема, которую не может разрешить ни одна статистическая модель и ни один судья.

«Это подводит к моей главной мысли», – говорил Мориц Хардт [211]. Модель машинного обучения, подготовленная с помощью данных, «по определению является инструментом для предсказания будущего на основании прошлого… Вот почему этот инструмент совершенно не подходит для многих областей, где пытаются разработать способы вмешательства и механизмы, чтобы изменить мир» [212].

Хардт развивает свою мысль: «Снижение уровня преступности и арестов – это действительно очень серьезная проблема, которую я хотел бы оставить специалистам по криминальному правосудию. Я считаю, что прогнозы дают несколько пессимистичную точку зрения. Они словно говорят: „Предположим, что мы не сможем конструктивно снизить уровень преступности. Мы предскажем, где произойдет преступление, отправимся туда и попытаемся поймать злоумышленника до того, как что‐то случится“. На мой взгляд, это не механизм конструктивной борьбы с преступностью. Вот что я называю пессимистическим подходом. Я не хочу предсказывать, где произойдет преступление. Полагаю, что это полезно, но предпочел бы иметь механизм снижения уровня преступности. Я как специалист по информатике не могу ничего предложить, абсолютно ничего. Я не могу сказать, что что‐то в этом смыслю. И потребуются годы, чтобы разобраться, что я могу сделать».

О важности того, чтобы сделать шаг назад и посмотреть на систему криминального правосудия в более крупном масштабе, не забывали и первые исследователи этой сферы.

Эрнст Берджесс в 1937 году, когда его первый доклад по системе УДО указал на модель оценки риска, которая стала применяться во всем штате, чувствовал, что пришло время перейти к чему‐то более глубокому. «В Иллинойсе, на мой взгляд, – писал он, – пора перестать экспериментировать с условно-досрочным освобождением как с отдельной частью наших проблем в пенитенциарной системе. Что требуется, так это крупное вмешательство, включающее в себя полную реорганизацию тюремной системы штата» [213].

С тех пор прошло больше восьмидесяти лет, и его слова все еще остаются правдой.

3. Прозрачность

Подразумевается, что правила ясны, единообразны и всем доступны. Как все мы знаем, в действительности так бывает редко.

Дэвид Грэбер [214]

Предоставление огромного количества информации без адекватной структуры и документации – это не прозрачность.

Ричард Берк [215]

В середине 1990‐х Рич Каруана из Microsoft был