Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Skinner, A Case History in Scientific Method.
448
Макгонигал, Джейн. Реальность под вопросом. Почему игры делают нас лучше и как они могут изменить мир. – Пер. с англ. Н. Яцюк. – Науч. ред. В. Шульпин. – М.: Манн, Иванов и Фербер, 2018.
449
Jane McGonigal, Gaming Can Make a Better World, https://www.ted.com/talks/jane_mcgonigal_gaming_can_make_a_better_world/.
450
См. McGonigal, SuperBetter.
451
Jane McGonigal, The Game That Can Give You 10 Extra Years of Life, https://www.ted.com/talks/jane_mcgonigal_the_game_that_can_give_you_10_extra_years_of_life/.
452
См. Deterding et al., From Game Design Elements to Gamefulness.
453
См. Hamari, Koivisto, and Sarsa, Does Gamification Work?
454
Интервью автора с Фальком Лидером, 28 апреля 2018.
455
Чтобы получить общее представление о проблеме, см. Lieder, Gamify Your Goals. Более подробную информацию см. в Lieder et al., Cognitive Prostheses for Goal Achievement.
456
В последнее время эта идея изучалась в работе Sorg, Lewis, and Singh, Reward Design via Online Gradient Ascent.
457
Интервью автора с Фальком Лидером, 28 апреля 2018.
458
Если точнее, у них был выбор между тем, чтобы отказаться от задания и получить пятнадцать центов, и тем, чтобы взять задание, получить еще пять центов сверху и возможность за двадцать долларов написать ряд эссе к определенному дню.
459
Lieder et al., Cognitive Prostheses for Goal Achievement.
460
Там же.
461
См., к примеру, Evans et al., Evidence for a Mental Health Crisis in Graduate Education, где выясняется, что «студенты-постдипломники в шесть раз чаще склонны испытывать депрессию и тревожность по сравнению с населением в целом».
462
Turing, Intelligent Machinery.
463
Начиная с 2004 года, предпринимались попытки разработки стандартизированных эталонных тестов для обучения с подкреплением и конкурсов; см. Whiteson, Tanner, and White, The Reinforcement Learning Competitions.
464
Интервью автора с Марком Беллемаре, 28 февраля 2019.
465
Bellemare et al., The Arcade Learning Environment, источником которой является работа Naddaf, Game-Independent AI Agents for Playing Atari 260 °Console Games, проистекающая из Diuk, Cohen, and Littman, An Object-Oriented Representation for Efficient Reinforcement Learning, где в качестве среды для обучения с подкреплением использовалась игра Pitfall!.
466
См. Gendron-Bellemare, Fast, Scalable Algorithms for Reinforcement Learning in High Dimensional Domains.
467
Mnih et al., Playing Atari with Deep Reinforcement Learning.
468
Mnih et al., Human-Level Control Through Deep Reinforcement Learning.
469
Интервью Джона Харди с Робертом Джегером, http://www.digitpress.com/library/interviews/interview_robert_jaeger.html.
470
Больше информации по этому вопросу см. Salimans and Chen, Learning Montezuma’s Revenge from a Single Demonstration, где также исследуется интересная идея о том, чтобы двигаться назад от состояния успешного достижения цели, чтобы научить агента обучения с подкреплением, как играть в игру шаг за шагом.
471
См. Maier and Seligman, Learned Helplessness. Более современные работы в этой области – см., например, Lieder, Goodman, and Huys, Learned Helplessness and Generalization.
472
См. Henry Alford, The Wisdom of Ashleigh Brilliant, http://www.ashleighbrilliant.com/BrilliantWisdom.html, цитируется по Alford, How to Live (New York: Twelve, 2009).
473
Понятие внутренней мотивации было представлено в машинном обучении в работах Barto, Singh, and Chentanez, Intrinsically Motivated Learning of Hierarchical Collections of Skills и Singh, Chentanez, and Barto, Intrinsically Motivated Reinforcement Learning. Более современный обзор этой литературы см. в Baldassarre and Mirolli, Intrinsically Motivated Learning in Natural and Artificial Systems.
474
Гоббс Т. Левиафан, или Материя, форма и власть государства церковного и гражданского. – Пер. А. Гутермана // Гоббс Т. Сочинения: В 2 т. – Т. 2. – М.: Мысль, 1991.
475
Simon, The Cat That Curiosity Couldn’t Kill.
476
Berlyne, ‘Interest’ as a Psychological Concept.
477
См. Furedy and Furedy, ‘My First Interest Is Interest.’
478
Berlyne, Conflict, Arousal, and Curiosity.
479
См. Harlow, Harlow, and Meyer, Learning Motivated by a Manipulation Drive и Harlow, Learning and Satiation of Response in Intrinsically Motivated Complex Puzzle Performance by Monkeys.
480
Сценарии такого типа описаны в работах Barto, Intrinsic Motivation and Reinforcement Learning, Deci and Ryan, Intrinsic Motivation и Self-Determination in Human Behavior.
481
Berlyne, Conflict, Arousal, and Curiosity.
482
См., например, книгу Берлайна Uncertainty and Conflict: A Point of Contact Between Information-Theory and Behavior-Theory Concepts.
483
Обзоры понятия «интерес» в психологии XXI века см. в Silvia, Exploring the Psychology of Interest и Kashdan and Silvia, Curiosity and Interest.
484
Konečni, Daniel E. Berlyne.
485
Berlyne, Conflict, Arousal, and Curiosity.
486
Фильм «Энни с Клондайка», 1936.
487
Fantz, Visual Experience in Infants. Технически Фанц работал в университете Вестерн-Резерв, который был официально присоединен к Технологическому институту Кейса только несколько лет спустя, в 1967 году, чтобы стать университетом Кейс Вестерн.
488
См. Saayman, Ames, and Moffett, Response to Novelty as an Indicator of Visual Discrimination in the Human Infant.
489
Обзор, сделанный на рубеже веков, см. в Roder, Bushnell, and Sasseville, Infants’ Preferences for Familiarity and Novelty During the Course of Visual Processing.
490
К примеру, Марвин Минский писал в 1961 году: «Если бы мы могли… добавить премию к вознаграждению за предсказания, имеющие новый аспект, мы бы думали, что сумеем распознать поведение, мотивированное такого рода любопытством… В подкреплении механизмов подтверждения
