Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

ситуациях вполне возможно, что система, где полностью уничтожено гендерное измерение даже для таких фундаментальных терминов, как «он» и «она», может выдать более справедливые результаты. Не все так просто, работа продолжается.

Автопортрет в статистическом зеркале

В приложениях для найма персонала подобные проявления неравенства могут восприниматься как угроза, которую нужно снизить, но, если рассматривать их сами по себе, они вызывают целый ряд вопросов. Например, откуда берутся эти проявления? Остались в качестве артефактов из-за использования статистических методов или отражают нечто более глубокое, а именно предрассудки, засевшие в наших головах, и неравенство, царящее в мире?

Классический тест на наличие у людей неосознанных предрассудков называется имплицитным ассоциативным тестом – испытуемые видят последовательность слов и нажимают на кнопку каждый раз, когда слово принадлежит к одной из категорий: к примеру, цветы (ирис) или положительные эмоции (смех). Выглядит достаточно просто, да так оно и есть; самое главное тут – не точность, а время реакции. Если слово обозначает цветок или положительную эмоцию, люди реагируют быстро, но если слово обозначает цветок или отрицательную эмоцию, времени уходит больше. Это позволяет предположить, что цветы и позитивные эмоции пересекаются на психологическом уровне или что эти понятия связаны [118].

Команда, которая изобрела этот тест, показала, что реакция группы белых студентов была высокой, если речь шла об именах белых людей (Мередит, Хизер) или о чем‐то приятном (удача, подарок). Высокую реакцию они показали и когда столкнулись с именами чернокожих (Латония, Шавонн) или неприятными вещами (яд, горе). Но когда соединили имена белых людей и нечто неприятное, реакция становилась медленнее. Точно так же реакция замедлялась, если приходилось нажимать на кнопку на имена чернокожих людей и что‐то приятное.

Команда специалистов по информатике из Принстона – постдок [119] Эйлин Калискан, профессора́ Джоанна Брайсон и Арвинд Нарайянан – обнаружила, что расстояние между представлениями слов в Word2vec и других широко распространенных моделях удивительно точно отражает эти данные о времени реакции людей. Чем медленнее люди определяют две любые группы слов, тем дальше друг от друга находятся векторы слов в модели [120]. Другими словами, предрассудки моделей так или иначе связаны с нашими.

Помимо имплицитных ассоциаций, команда из Принстона хотела узнать, улавливают ли такие модели, как Word2vec, то, что ученые назвали отражающими действительность предрассудками, существующими в мире. Некоторые имена действительно чаще носят женщины, некоторые должности действительно более характерны для них. Не отражает ли в какой‐то мере объективную реальность степень, до которой представления этих имен склоняются к мужскому или женскому? И то, что определенные профессии находятся в разных краях гендерных осей модели, не говорит ли о том, что гендерный состав этих профессий – медсестра, библиотекарь, плотник, механик – действительно неравномерно сбалансирован? Команда из Принстона проконсультировалась с Бюро переписи населения США и Бюро статистики труда; в обоих случаях ответ был положительный.

Чем сильнее представление слова, обозначающего профессию, склоняется в гендерном направлении, тем больше в этой профессии представителей определенного пола. «Представление слова, – пишут ученые, – в значительной степени соотносится с процентом женщин, занятых в пятидесяти самых популярных профессиях в Соединенных Штатах» [121]. С именами так же, хотя корреляция немного слабее, но это можно объяснить тем, что они получили данные переписи, которая прошла в 1990 году, – возможно, с тех пор гендерное распределение имен несколько изменилось.

Благодаря тому, что представления, появляющиеся из «волшебного» процесса оптимизации, так зловеще и неприятно отражают процессы в обществе, у нас есть еще один инструмент для социальных наук. Мы можем использовать эти представления, чтобы измерить что‐то в обществе в выбранный промежуток времени. И независимо от того, изменяют ли перемены в объективной реальности нашу речь, или оба изменения порождены более глубокими причинами, мы можем использовать эти «моментальные снимки», чтобы наблюдать социальные изменения.

Именно так решила поступить междисциплинарная группа из Стэнфорда. Никил Гарг, кандидат на присуждение степени PhD в области электротехники, и Джеймс Зу, ассистент кафедры биомедицинских наук, объединились с историком Лондой Шибингер и лингвистом Дэном Джурафски, чтобы посмотреть, что будет, если использовать представления слов не в корпусе современного текста, а взять образцы за последние сто лет [122].

В итоге получилась богатая и подробная история смены веяний в культуре. Как выразились ученые, «временна́я динамика представлений помогает количественно определить изменения в стереотипах по отношению к женщинам и этническим меньшинствам в ХХ и XXI веках в Соединенных Штатах».

Группа из Стэнфорда подтвердила открытие команды из Принстона о существовании связи между представлениями слов, обозначающих профессии и пол, добавив, что существует некий «сдвиг вдоль мужской оси». По данным переписи, слова, обозначающие профессии, показали соотношение мужчин и женщин пятьдесят на пятьдесят, но при этом их представление немного отклоняется в направлении мужчин. По словам авторов, «повседневный язык подвержен отклонениям сильнее, чем ожидалось исходя из объективных метрик». Если не брать во внимание этот сдвиг, с течением времени можно выделить устойчивую тенденцию, показывающую, что гендерное неравенство в представлении слов-профессий, идет в ногу с изменениями в составе самой рабочей силы.

Посмотрев на тексты разного времени, исследователи обнаружили изобилие фактов, отражающих социальные изменения. Данные показывают, что гендерное неравенство со временем значительно снизилось и что «движение за права женщин в 1960‐е и 1970‐е оказывало систематическое решительное воздействие на изображение женщин в литературе и культуре».

Также представления показывали подробную историю изменений в расовых отношениях. В 1910 году, к примеру, в топ‐10 слов, которые белые ассоциировали с азиатами, включали «варварский», «уродливый», «ненавистный» и «ненормальный». К 1980 году картина изменилась: первые десять слов возглавляли «замкнутый» и «пассивный», а завершали «чувствительный» и «душевный» – что тоже, разумеется, стереотипы, но отражающие несомненные культурные изменения.

В эмбеддингах можно увидеть и более современные культурные сдвиги. Например, ассоциация между исламом и терроризмом усилилась в 1993‐м (взрыв во Всемирном торговом центре) и 2001‐м (события 11 сентября) годах.

Используя этот подход, можно попробовать заглянуть не в прошлое, а в будущее. Можно ли по данным за последние полгода предположить, как будет развиваться ситуация с предрассудками – улучшится она или усугубится? Можно представить себе что‐то вроде работающей в реальном времени индикаторной панели, которая показывает, уменьшаются ли предрассудки в самом обществе или, по крайней мере, в публичном дискурсе, – явление, по которому можно судить об уже произошедших изменениях, и беглый взгляд на будущее.

Представления и представление

Взглянем на несколько ключевых моментов, первый из которых, хоть и не в полной мере, относится к методологии. Специалисты по информатике обращаются к социологии, когда начинают более широко мыслить о том, что происходит в созданной ими модели. Так же социологи обращаются к машинному обучению и обнаруживают, что теперь у них есть новый мощный инструмент. Как пишут авторы из Стэнфорда, «в стандартной, поддающейся количественному определению социологии машинное обучение