Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
777
Больше об идее эффективного альтруизма см. MacAskill, Doing Good Better и Singer, The Most Good You Can Do. Больше об истории термина см. в MacAskill’s The History of the Term ‘Effective Altruism,’ Effective Altruism Forum, http://effective-altruism.com/ea/5w/the_history_of_the_term_effective_altruism/.
778
MacAskill, Bykvist, and Ord, Moral Uncertainty. См. также более раннюю книгу Lockhart, Moral Uncertainty and Its Consequences.
779
См. Lockhart, Moral Uncertainty and Its Consequences и Gustafsson and Torpman, In Defence of My Favourite Theory.
780
К примеру, существуют чисто ординальные теории, а также чисто деонтические. Есть и другие проблемы; больше о них см. в MacAskill, Bykvist, and Ord, Moral Uncertainty.
781
Больше о теории социального выбора см. в Mueller, Public Choice III и Sen, Collective Choice and Social Welfare; больше о теории социального выбора с точки зрения информатики см. в Brandt et al., Handbook of Computational Social Choice.
782
Об идее парламента морали см. в Bostrom, Moral Uncertainty – Towards a Solution? а о моральной сделке см. в Ord, Moral Trade.
783
Один из подходов см. в Humphrys, Action Selection in a Hypothetical House Robot.
784
См. Allocation of Discretionary Funds from Q1 2019, The GiveWell Blog, https://blog.givewell.org/2019/06/12/allocation-of-discretionary-funds-from-q1–2019/.
785
Дальнейшее обсуждение вопроса см. также Ord, The Precipice.
786
Интервью автора с Полом Кристиано, 1 июля 2019.
787
По этой теме см. также Sepielli, What to Do When You Don’t Know What to Do When You Don’t Know What to Do. .
788
Shlegeris, Why I’m Less of a Hedonic Utilitarian Than I Used to Be.
789
Рассел Б. Философия логического атомизма. – Пер. В. Суровцев. – Томск: Водолей, 1999, с. 4.
790
См. Knuth, Structured Programming with Go to Statements и Knuth, Computer Programming as an Art (обе статьи 1974 года). У этой цитаты несколько запутанная история: сам Кнут 15 лет спустя, в 1989 году, сослался на нее как на авторитетное заявление Хоара в статье Knuth, The Errors of Te X. Тем не менее, кажется, нет никаких доказательств того, что эти слова принадлежат Хоару. Когда самого Хоара спросили об этом высказывании в 2004 году, он сказал, что «не помнит», откуда оно взялось, и предположил, что что‐то в этом роде мог сказать Эдсгер Дейкстра, добавив: «Думаю, было бы справедливо предположить, что это общая культура или фольклор (Hans Gerwitz, Premature Optimization Is the Root of All Evil, https://hans.gerwitz.com/2004/08/12/premature-optimization-is-the-root-of-all-evil.html). В 2012 году Кнут допустил: «Я действительно говорил что‐то вроде «Излишняя оптимизация – корень всех зол в программировании». (Mark Harrison, A note from Donald Knuth about TAOCP, http://codehaus.blogspot.com/2012/03/note-from-donald-knuth-about-taocp.html).
791
Центр по контролю и профилактике заболеваний США предупреждает о том, что младенцы подвергаются риску гипотермии в холодных спальнях, а в 2017 году здоровый мужчина средних лет в Таиланде умер в своей спальне от гипотермического шока только из-за того, что оставил работающие вентиляторы холодной ночью. См. соответственно Centers for Disease Control and Prevention, Prevent Hypothermia and Frostbite, https://www.cdc.gov/disasters/winter/staysafe/hypothermia.html и Straits Times, Thai Man Dies From Hypothermia After Sleeping With 3 Fans Blowing at Him, 6 ноября 2017, https://www.straitstimes.com/asia/se-asia/thai-man-dies-from-hypothermia-after-sleeping-with‐3‐fans-blowing-at-him.
792
Винер Н. Корпорация «Бог и голем». – Пер. В. Желнинова, Е. Алексеевой. – М.: АСТ, 2018. Исследовательница MIRI Джессика Тейлор изучила похожую идею о том, что она назвала «квантилайзером» – агент, который вместо того, чтобы быть полностью оптимизированным в соответствии с потенциально проблематичными критериями, ведет себя «достаточно хорошо»; см. Taylor, Quantilizers. Это также чем‐то напоминает метод регуляции под названием «ранняя остановка»: см. Yao, Rosasco, and Caponnetto, On Early Stopping in Gradient Descent Learning. Дальнейшее обсуждение в контексте безопасности ИИ случаев, когда «критерий, который можно применить для того, чтобы улучшить систему, используется до такой степени, что дальнейшая оптимизация становится неэффективной или вредной», см. в Manheim and Garrabrant, Categorizing Variants of Goodhart’s Law.
793
Ј13.3m Boost for Oxford’s Future of Humanity Institute, http://www.ox.ac.uk/news/2018–10–10-Ј133m-boost-oxford’s-future-humanity-institute.
794
Huxley, Ends and Means.
795
Более современное обсуждение гендерного неравенства в медицине, предназначенное для широкой аудитории, см. в книге Криадо Перес К. Невидимые женщины. Почему мы живем в мире, удобном только для мужчин. Неравноправие, основанное на данных. – М.: Альпина Паблишер, 2020. В качестве научной литературы по этому предмету см. Mastroianni, Faden, and Federman, Women and Health Research и Marts and Keitt, Foreword. Внутри медицинской отрасли существует также озабоченность насчет того, что пожилые люди, которые в настоящее время являются одной из самых быстро растущих групп, также недостаточно представлены в медицинских исследованиях; см. Vitale et al., Under-Representation of Elderly and Women in Clinical Trials и Shenoy and Harugeri, Elderly Patients’ Participation in Clinical Trials.
Это активная область исследований в ряде отраслей; последние обсуждения зоологических музейных коллекций см., например, в Cooper et al., Sex Biases in Bird and Mammal Natural History Collections.
796
См. Bara Fintel, Athena T. Samaras, and Edson Carias, The Thalidomide Tragedy: Lessons for Drug Safety and Regulation, Helix, https://helix.northwestern.edu/article/thalidomide-tragedy-lessons-drug-safety-andregulation; Nick McKenzie and Richard Baker, The 50-Year Global Cover-up, Sydney Morning Herald, 26 июля 2012, https://www.smh.com.au/national/the‐50‐year-global-cover-up‐20120725–22r5c.html, Thalidomide, Brought to Life, Science Museum, http://broughttolife.sciencemuseum.org.uk/broughttolife/themes/controversies/thalidomide, а также Marts and Keitt, Foreword.
797
Иногда такой консенсус становится откровенно оскорбительным. В 2019 году Кейт Кроуфорд из института AI Now и художник Тревор Паглен занялись данными ImageNet и обнаружили некоторые ужасающие и шокирующие факты. См. их работу Excavating AI: https://www.excavating.ai. Они выявили в наборе данных 600 тысяч изображений людей, помеченных самыми разными метками: от «клептоман» до «деревенщина» и «неряха».
798
Первоначально в наборе данных ImageNet было 20 тысяч категорий. Конкурс ImageNet Large Scale Visual Recognition Challenge (ILSVRC) был выигран в 2012 году системой AlexNet, использовавшей урезанную версию данных, содержащих всего тысячу категорий. См. Deng et al., ImageNet, and Russakovsky et al., ImageNet Large Scale Visual Recognition Challenge.
799
Стюарт Рассел отстаивал эту точку зрения и предложил использовать само машинное обучение, чтобы рассчитать передающую все оттенки репрезентацию различного значения ошибок классификации. См. Рассел С.
