Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Если исключить защищенные атрибуты, то невозможно не только измерить отклонение, но и уменьшить его. Например, модель машинного обучения, использующаяся при найме, может отклонить кандидата, потому что тот не работал в течение года. Мы бы не хотели, чтобы это распространялось на беременных женщин и молодых матерей, но учесть это сложно, если модель «слепа» по отношению к полу и не может включать в себя даже что‐то тесно с ним связанное, например беременность [162].
«Разработчики абсолютно уверены, – говорит Хардт, – что справедливость через слепоту не работает. Это самый доказанный и надежный факт во всей области исследований» [163].
Нужно время, чтобы эта идея дошла от компьютерщиков до ученых-правоведов, политической верхушки и общественности в целом, но она постепенно пробивает себе дорогу. «Могут быть случаи, когда позволить алгоритму учесть значение защищенного параметра означает сделать результаты более справедливыми, – отмечается в одной из последних статей, опубликованных в University of Pennsylvania Law Review. – Для этого может потребоваться изменение доктрины, поскольку во многих случаях рассмотрение защищенного статуса при принятии решения считается правовым нарушением» [164].
Лето, которое Мориц Хардт работал с Синтией Дворк, принесло свои плоды в виде статьи, где фиксировались первые результаты [165]. Более того, даже без учета итогов статья послужила сигналом для коллег-теоретиков, указывающим на нечто достойное их внимания, некий теоретический вопрос, обладающий большим потенциалом и имеющий неоспоримую важность для реального мира.
Вернувшись в Принстон и получив степень PhD, Хардт обнаружил, что его пригласили на что‐то вроде свидания вслепую. Дворк поговорила с Хелен Ниссенбаум, которая одной из первых задумалась об этических проблемах в информатике [166]. У Ниссенбаум был аспирант по имени Солон Барокас, и они с Дворк поняли, что их ученики могут оказаться единомышленниками [167].
Первая встреча началась необычно.
Хардт сидел за столиком в суши-баре Sakura Express на Уизерспун-стрит в Принстоне. Вошел Барокас. «Он сел, – вспоминает Хардт, – и вытащил статью. К моему разочарованию, за ней последовал желтый маркер, которым он тщательно выделял абзацы. Не так нужно читать статью по информатике!» Мориц смеется: «До этого момента я считал, что слова в статье просто заполняют промежутки между математическими расчетами… Было очень неловко, потому что написанное не имело смысла».
Двое молодых людей разговорились. Несмотря на непростое начало, сходство, которое заметили их наставницы, действительно существовало. В конце концов эти двое решили представить предложение на конференцию по нейросетевым системам обработки информации (Neural Information Processing Systems, NeurIPS) 2013 года, чтобы провести семинар по справедливости. NeurIPS отказала. «Они посчитали, что по теме проведено недостаточно работы и материала не хватает, – рассказывает Хардт. – В 2014 году мы с Солоном собрались вместе и решили, что попробуем снова». Исследователи дали теме другое название и более широкое понимание: «Справедливость, ответственность и прозрачность в машинном обучении» (Fairness, Accountability, and Transparency in Machine Learning, FATML). На этот раз NeurIPS согласилась. В том же году был проведен однодневный семинар в Монреале. Барокас и Хардт представляли тезисы, а Дворк произнесла вступительную речь.
Хардт закончил обучение, уехал из Принстона и начал работать в исследовательском отделе IBM. Параллельно он продолжал заниматься вопросами справедливости. «Мне всегда приходилось работать над сторонними проектами, чтобы продолжать существовать как специалист по теории вычислительных машин. С точки зрения карьеры, это своего рода хобби». Надо отдать должное IBM, компания предоставила Морицу достаточно свободы, несмотря на то, что его страсть не всегда разделяли. «Моя группа в IBM не особенно интересовалась этой темой, – говорит он, – но ею никто не интересовался».
Двое исследователей встретились вновь и повторили свое выступление на конференции в 2015 году. «Комната была полна, – вспоминает Хардт. – Люди пришли, но до революции, мягко говоря, было еще далеко». Он продолжал тратить львиную долю своего времени на информатику. Прошел еще год, и они с Солоном в третий раз провели семинар по FATML.
На этот раз кое-что изменилось. «2016‐й был годом, когда все вышло из-под контроля, – рассказывает Хардт. – Математик и блогер Кэти О’Нил, которая была на первом семинаре в 2014‐м, опубликовала свой бестселлер „Оружие математического поражения“ (Weapons of Math Destruction), посвященный социальным проблемам, порожденным безответственным использованием больших данных. Шокирующие результаты выборов, бросающие вызов исследованиям общественного мнения по всему миру, подорвали доверие к надежности прогностических моделей. Тем временем работа политических фирм, использующих большие данные, таких как Cambridge Analytica, вызвала вопросы о том, не используется ли машинное обучение для того, чтобы напрямую влиять на политику. Платформы одних крупных социальных сетей ссорились по поводу того, как применять машинное обучение для фильтрации информации, демонстрируемой миллиардам их пользователей, и делать ли это вообще. А группа репортеров из ProPublica после года неустанной работы с данными вынесла на суд общественности свои открытия об одном из самых популярных в стране инструментов оценки рисков.
Справедливость больше не была проблемой. Она превратилась в движение.
Невозможность справедливости
С 2012 года ученый-информатик из Корнеллского университета Джон Клейнберг и экономист из университета Чикаго Сендил Муллайнатан работали над проектом использования машинного обучения для анализа решений о мере пресечения обвиняемых, сравнивая мнение судей и оценки прогностических моделей машинного обучения. «Часть этой работы – вникнуть в вопросы, связанные с алгоритмическими инструментами, которые заботят людей в контексте расового неравенства, – говорил Клейнберг. – Я считал, мы это хорошо обдумали. И тут появилась статья ProPublica и… наши новостные каналы в социальных сетях тут же заполнились ее репостами. Она действительно захватила внимание людей. Они что‐то уловили. Мы хотели поглубже изучить проблему и узнать, как она связана с темами, о которых мы размышляли» [168].
В Питтсбурге статистик университета Карнеги – Меллона Александра Чулдехова с весны 2015 года работала с комиссией по вынесению приговоров штата Пенсильвания, создавая визуальную панель для изучения различных математических характеристик инструментов оценки риска. «Я стала все чаще и чаще задумываться об этих вопросах… чтобы понять различные представления справедливости, если говорить о классификационных показателях и их связях, – рассказывала она. – Все это происходило, когда я работала над другими проектами… Я обсудила с одним из своих старших коллег, что, возможно, стоит написать статью о проблемах проверки инструментов оценки риска. Мы уже сделали обзор литературы, когда прогремела статья ProPublica. Думаю, это действительно подтолкнуло многих людей к мыслям в этом направлении» [169].
Похожие истории можно услышать и от тех, кто обитал на другом конце страны. Аспирант Стэнфорда Сэм Корбетт-Дэвис начал работу над диссертацией, «желая заниматься роботами и чистой информатикой». Год спустя он обнаружил, что ему это не нравится: «В то же время я маниакально читал
