Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
67
Joy Buolamwini, How I’m Fighting Bias in Algorithms, https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms.
68
Friedman and Nissenbaum, Bias in Computer Systems.
69
Buolamwini, How I’m Fighting Bias in Algorithms.
70
Huang et al., Labeled Faces in the Wild.
71
Han and Jain, Age, Gender and Race Estimation from Unconstrained Face Images.
72
По этим оценкам, в наборе данных используется лица 252 чернокожих женщин. Это число получено умножением доли женщин (2975/13 233) на долю чернокожих (1122/13 233); цифры взяты в Han and Jain.
73
См. Labeled Faces in the Wild, http://vis-www.cs.umass.edu/lfw/. По данным Архива Интернета Wayback Machine поправка появилась между 3 сентября и 6 октября 2019 года.
74
Klare et al., Pushing the Frontiers of Unconstrained Face Detection and Recognition.
75
Buolamwini and Gebru, Gender Shades.
76
В наборе данных в равной пропорции содержатся все шесть категорий тона кожи по дерматологической шкале Фицпатрика. (Примечательно, что прежде эта шкала содержала только четыре категории: три для светлой кожи и одна для темной, которую в 1980‐е годы разделили на три категории.)
77
См. Joy Buolamwini, AI, Ain’t I a Woman?,
78
Полный ответ компании Microsoft см. http://gendershades.org/docs/msft.pdf.
79
Официальный ответ компании IBM см. http://gendershades.org/docs/ibm.pdf. IBM последовательно работала над новым набором данных из миллиона лиц, подчеркивая самые разные критерии отличий; см. Merler et al., Diversity in Faces. Критику методологии IBM при создании набора данных Diversity in Faces см. Crawford and Paglen, Excavating AI.
80
Также критически важен и компонентный состав поля; см. Gebru, Race and Gender.
81
Firth, Papers in Linguistics, 1934–1951.
82
Сейчас существует два способа обучения моделей представления слова. Первый – предсказание отсутствующего слова с учетом его контекста, второй – предсказание контекста по данному слову. Эти методы называют continuous bag-of-words (CBOW, «непрерывный мешок слов») и skip-gram («пропуск грамматики»). Для простоты мы остановимся на последнем, но у обоих подходов есть преимущества, хотя на выходе они дают достаточно простые модели.
83
Shannon, A Mathematical Theory of Communication.
84
См. Jelinek and Mercer, Interpolated Estimation of Markov Source Parameters from Sparse Data и Katz, Estimation of Probabilities from Sparse Data for the Language Model Component of a Speech Recognizer; обзор см. Manning and Schutze, Foundations of Statistical Natural Language Processing.
85
Эта знаменитая фраза впервые появилась в работе Bellman, Dynamic Programming.
86
См. Hinton, Learning Distributed Representations of Concepts и Connectionist Learning Procedures, а также Rumelhart and McClelland, Parallel Distributed Processing.
87
См., к примеру, латентно-семантический анализ (Landauer, Foltz, and Laham, An Introduction to Latent Semantic Analysis), модель смеси множества причин (Saund, A Multiple Cause Mixture Model for Unsupervised Learning и Sahami, Hearst, and Saund, Applying the Multiple Cause Mixture Model to Text Categorization), а также латентное размещение Дирихле (Blei, Ng, and Jordan, Latent Dirichlet Allocation).
88
См. Bengio et al., A Neural Probabilistic Language Model; обзор см. в Bengio, Neural Net Language Models.
89
По определенным техническим причинам в оригинальной модели Word2vec для каждого слова предусмотрено по два вектора. Первый используется, когда слово выступает в роли искомого (пропущенного), а второй – когда оно является частью контекста для другого пропущенного слова. Из-за этого общее количество параметров удваивается.
Степень сходства слов измеряется двумя способами: либо путем вычисления скалярного произведения (которое показывает, насколько два вектора удалены друг от друга), либо с помощью косинусного расстояния (которое отражает, насколько векторы сонаправлены). Если векторы имеют одинаковую длину, эти два критерия математически эквивалентны.
Критику такого пространственного понимания «схожести» можно найти в работе Нематзаде, Мейлана и Гриффитса Evaluating Vector- Space Models of Word Representation. Авторы подчеркивают ограничения этого подхода при попытке смоделировать человеческие суждения о сходстве. Человеческое восприятие не всегда симметрично: например, люди склонны считать Северную Корею очень похожей на Китай, но при этом воспринимают Китай как гораздо менее похожий на Северную Корею.
90
Более подробно об обучении модели Word2vec см. в Rong, Word2vec Parameter Learning Explained.
91
Manning, Lecture 2: Word Vector Representations.
92
Как он писал в своем эссе 1784 года «Идея всеобщей истории во всемирно-гражданском плане» (Idee zu einer allgemeinen Geschichte in weltburgerlicher Absicht), «Aus so krummem Holze, als woraus der Mensch gemacht ist, kann nichts ganz Gerades gezimmert warden». Для русского перевода фраза цитируется по изданию Кант, Иммануил. Сочинения в шести томах. – М., Мысль, 1966. Т. 6, С. 13.
93
См. Mikolov, Le, and Sutskever, Exploiting Similarities Among Languages for Translation, Le and Mikolov, Distributed Representations of Sentences and Documents и Kiros et al., Skip-Thought Vectors.
94
На втором месте оказалась Ванесса Паради, а на третьем – Шарлотта Генсбур.
95
В сообществе исследователей машинного обучения существуют значительные разногласия о том, как именно должны вычисляться эти «аналогии», а в сообществе когнитивистики – насколько близко они охватывают человеческие представления о сходности. По этим вопросам см. обсуждение в Заключении (и примечания к нему).
96
Mikolov, Learning Representations of Text Using Neural Networks.
97
Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker? Возможно, еще более поразительным оказалось то, как эти концепции отразились на вопросах расы. Например, ближайшим словом в векторном пространстве к комбинации «белый» + «человек» оказалось выражение «имеющий право» (entitled to). В то же время комбинация «черный» + «человек» выдала результат «подвергшийся насилию». (См. Bolukbasi et al., Quantifying and Reducing Stereotypes in Word Embeddings.) Если же выполнить векторное вычитание «белый» – «меньшинство» и распределить вдоль полученной оси все названия профессий, то на крайнем полюсе слова «белый» окажется
