Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Проблема «справедливости» оценок инструмента обострилась: от вопроса о том, какие статистические методы будут «верными», исследователи перешли к проблеме того, как в первую очередь определить и измерить справедливость.
Диалог должен был вот-вот перейти на новый виток, и тут в него вступило еще одно сообщество – то, которое уже начало медленно и верно привлекать внимание к вопросу справедливости.
Чем справедливость не является
Гарвардский специалист по теории вычислительных машин Синтия Дворк, возможно, больше всего известна благодаря разработке принципа дифференциальной приватности, который позволяет компаниям собирать данные о пользователях в целом, сохраняя приватность каждого. Компания, занимающаяся веб-браузерами, хочет понимать поведение пользователей, но не знать при этом, на какие именно сайты ходите лично вы. Компания, производящая смартфоны, желает улучшить проверку орфографии или текстовые подсказки, не вникая в содержание ваших личных разговоров. Дифференциальная приватность делает это возможным. Примерно с 2014 года она распространялась по крупным техническим компаниям и принесла Дворк премию Геделя, одну из самых высоких наград в области компьютерных наук [157]. Но летом 2010‐го исследовательница считала, что закончила теоретическую часть работы, и искала новую задачу.
«Я начала работать над приватностью в 2000–2001 годах, – объясняет Дворк. – Дифференциальная приватность к 2006‐му уже существовала. У меня в голове оставался последний ряд вопросов, которые я хотела осветить, и на этом работа была закончена. Тогда я решила, что нужно подумать о чем‐то еще» [158].
Дворк, работая в исследовательском отделе Microsoft, приехала в Беркли, чтобы встретиться со своим коллегой, специалистом по информатике Амосом Фиатом. Весь день они провели в разговорах. К обеду, сидя в своем любимом ресторане Chez Panisse, они затронули тему справедливости. Дворк вспоминает: «Чтобы не шокировать находящихся вокруг нас людей разговорами о расизме и сексизме, мы придумали слова-заменители, такие как „пурпурные галстуки“, „полосатые рубашки“ и тому подобное. Но к обеду… мы во всем этом погрязли».
Термин «справедливость» в теоретической информатике употребляется в ряде контекстов, начиная с теоретико-игровых механизмов разрезания пирога (или раздела наследства) так, чтобы каждый получил справедливую долю, и заканчивая алгоритмами планирования, которые нужны, чтобы убедиться: каждый процесс в ЦПУ занимает соответствующее время. Но Дворк подумала, что в идее справедливости есть что‐то еще, о чем никто в отрасли еще не подозревает.
Так случилось, что Дворк прочитала одну из статей Джулии Энгвин из рубрики «Что они знают» в Wall Street Journal. Заметка была посвящена онлайн-рекламе. В ней говорилось, что уже в 2010 году (если не раньше) компании могли провести опознание личности каждого пользователя их веб-сайтов, сузив неопределенность до нескольких десятков людей, и за доли секунды принимали решение о том, какие кредитные карты кому предлагать [159].
Проработав с проблемой приватности целых десять лет, Дворк начала думать об этой проблеме не только с точки зрения «что они знают?», но и задумываться о том, «что они делают с этими знаниями?».
Дворк вернулась в Microsoft и сказала: «Я нашла нашу проблему».
В ее лаборатории работал и Мориц Хардт, в то время учившийся в аспирантуре и проходивший тем летом стажировку от Принстонского университета. Хардт совершенно не хотел работать над проблемами реального мира. Он интересовался теорией: сложность алгоритма, теория неразрешимости, произвольность. Чем абстрактнее, тем лучше. «Никакого практического использования, – шутил он. – Старая школа!» [160]
«Я многому научился, – рассказывает Хардт, – но нашел, что существует ряд проблем, которые я мог бы рассмотреть на этой площадке… Это не имело отношения к тому, чем я интересовался. Но я быстро увлекся социальными проблемами в большем объеме, чем их касается информатика». Все началось с анализа сохранения приватности данных, проведенным с Дворк. Она же втянула Хардта и в проект, посвященный справедливости.
Как вспоминает Хардт, «Синтия предполагала, что порой, когда люди спрашивают о приватности, они на самом деле беспокоятся о том, что кто‐то будет пользоваться их данными ненадлежащим образом. Проблема не в том, чтобы скрыть информацию любой ценой, а в том, чтобы не допустить вреда от пользования ею… Это предположение оказалось достаточно точным. Со временем общественные обсуждения переключились с приватности на справедливость, и все, что выглядело как проблема приватности, вдруг оказалось проблемой справедливости».
Дворк, Хардт и их коллеги столкнулись не только с огромными сложностями по переводу философских и юридических идей о справедливости в жесткие математические конструкции, но также обнаружили, что фактически главные ориентиры и методы, некоторые из которых появились десятки лет назад, понимались совершенно неверно и могли напрямую нанести вред.
К примеру, закон США о борьбе с дискриминацией определяет ряд признаков, таких как раса, пол и статус инвалида. Подразумевается, что строго запрещено использовать эти переменные в моделях машинного обучения, которые могут повлиять на людей в таких областях, как трудоустройство, содержание под стражей и т. д. Если мы читаем в прессе, что модель использует расу (или пол) как атрибут, то приходим к выводу, что что‐то пошло не так. Напротив, компании или организации обычно защищают свою модель, доказывая, что она «не использует расу как атрибут» или «не различает цвет кожи». Это кажется интуитивно понятным: как что‐то или кто‐то может подвергать дискриминации определенную группу, если понятия не имеет, кто туда входит?
Но это положение ошибочно по нескольким причинам.
Просто убрать защищенный законом признак недостаточно. Пока модель вбирает в себя характеристики, коррелирующие, скажем, с полом или расой, ничего хорошего из того, что мы будем избегать упоминаний о них, не выйдет.
Как в случае с Бостонским симфоническим оркестром и, более того, с лингвистическими моделями анализа резюме, недостаточно просто убрать переменную, которая вас волнует (в данном случае – пол), особенно если существуют коррелирующие с ней факторы. Это явление известно как понятие избыточного кодирования. Гендерный атрибут избыточно закодирован среди других переменных.
В контексте уголовного правосудия история об ином отношении к одной из демографических групп пестрит проявлениями избыточного кодирования. В районах, населенных этническими меньшинствами, полиция действует более агрессивно, и это означает, что на ровном месте что‐то кажущееся нейтральным, например список правонарушений (количество предыдущих задержаний), может превратиться в избыточное кодирование признака расы [161].
Поэтому недостаточно просто не обращать внимания на критичные признаки. Одно из неприятных последствий избыточного кодирования в том, что, если система «слепнет» по отношению к таким атрибутам, становится только хуже. К примеру, создатель модели захочет измерить, насколько некая переменная коррелирует с расой. Без значения расового атрибута у него ничего не выйдет. Один программист, с которым я говорил, жаловался, что его начальство постоянно подчеркивает важность того, чтобы модели не искажали выводы на основе пола и расы.
