Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
339
Там же.
340
Интервью автора с Вольфрамом Шульцем, 25 июня 2018.
341
См. Schultz, Apicella, and Ljungberg, Responses of Monkey Dopamine Neurons to Reward and Conditioned Stimuli During Successive Steps of Learning a Delayed Response Task и Mirenowicz and Schultz, Importance of Unpredictability for Reward Responses in Primate Dopamine Neurons.
342
См. Rescorla and Wagner, A Theory of Pavlovian Conditioning; идея о том, что обучение может состояться, только когда его результаты удивляют, проистекает из более ранней работы Kamin, Predictability, Surprise, Attention, and Conditioning.
343
Интервью автора с Вольфрамом Шульцем, 25 июня 2018.
344
Интервью автора с Вольфрамом Шульцем, 25 июня 2018. См. Schultz, Apicella, and Ljungberg, Responses of Monkey Dopamine Neurons to Reward and Conditioned Stimuli During Successive Steps of Learning a Delayed Response Task.
345
Цитируется по Brinnin, The Third Rose.
346
Barto, Sutton, and Anderson, Neuronlike Adaptive Elements That Can Solve Difficult Learning Control Problems.
347
«Рич у нас больше любит прогнозировать, а я – актерствовать». (Интервью автора с Эндрю Барто, 9 мая 2018.)
348
Sutton, A Unified Theory of Expectation in Classical and Instrumental Conditioning.
349
Sutton, Temporal-Difference Learning (лекция), 3 июля 2017 года, Летняя школа по глубокому обучению и обучению с подкреплением 2017, университет Монреаля, http://videolectures.net/deeplearning2017_sutton_td_learning/.
350
Sutton, Temporal-Difference Learning
351
Sutton, Learning to Predict by the Methods of Temporal Differences. См. также диссертацию Саттона на соискание докторской степени: Temporal Credit Assignment in Reinforcement Learning.
352
См. Watkins, Learning from Delayed Rewards и Watkins and Dayan, Q-Learning.
353
Tesauro, Practical Issues in Temporal Difference Learning.
354
Tesauro, TD-Gammon, a Self- Teaching Backgammon Program, Achieves Master-Level Play. См. также Tesauro, Temporal Difference Learning and TD-Gammon.
355
Интервью с П. Ридом Монтегю, серия интервью на Симпозиуме мозга и поведения в Колд-Сприн-Харбор.
356
Интервью автора с Питером Даяном, 12 марта 2018.
357
Schultz, Dayan, and Montague, A Neural Substrate of Prediction and Reward. О появлении качественно новой связи с TD-обучением годом ранее см. Montague, Dayan, and Sejnowski, A Framework for Mesencephalic Dopamine Systems Based on Predictive Hebbian Learning.
358
P. Read Montague, Cold Spring Harbor Laboratory Keynote.
359
Интервью с П. Ридом Монтегю, серия интервью на Симпозиуме мозга и поведения в Колд-Сприн-Харбор.
360
Интервью автора с Питером Даяном, 12 марта 2018.
361
Интервью автора с Вольфрамом Шульцем, 25 июня 2018.
362
См. Niv, Reinforcement Learning in the Brain.
363
Обсуждение потенциальных ограничений теории дофамина, основанной на TD-ошибках, см. Dayan and Niv, Reinforcement Learning, и O’Doherty, Beyond Simple Reinforcement Learning.
364
Niv, Reinforcement Learning in the Brain.
365
Сообщение на конференции с размещением основного материала на специальных стендах. – Прим. пер.
366
Интервью автора с Яэль Нив, 21 февраля 2018.
367
См. Berridge, Food Reward: Brain Substrates of Wanting and Liking и Berridge, Robinson, and Aldridge, Dissecting Components of Reward.
368
Rutledge et al., A Computational and Neural Model of Momentary Subjective Well-Being.
369
Rutledge et al.
370
См. Brickman, Hedonic Relativism and Planning the Good Society и Frederick and Loewenstein, Hedonic Adaptation.
371
Brickman, Coates, and Janoff-Bulman, Lottery Winners and Accident Victims.
372
Equation to Predict Happiness, https://www.ucl.ac.uk/news/2014/aug/equation-predict-happiness.
373
Rutledge et al., A Computational and Neural Model of Momentary Subjective Well-Being.
374
Wency Leung, Researchers Create Formula That Predicts Happiness, https://www.theglobeandmail.com/life/health-and-fitness/health/researchers-create-formula-that-predicts-happiness/article19919756/.
375
См. Tomasik, Do Artificial Reinforcement-Learning Agents Matter Morally? Больше по этой теме см. Schwitzgebel and Garza, A Defense of the Rights of Artificial Intelligences.
376
Brian Tomasik, Ethical Issues in Artificial Reinforcement Learning, https://reducing-suffering.org/ethical-issues-artificial-reinforcement-learning/.
377
Daswani and Leike, A Definition of Happiness for Reinforcement Learning Agents. См. также People for the Ethical Treatment of Reinforcement Learners: http://petrl.org.
378
Интервью автора с Эндрю Барто, 9 мая 2018.
379
В дофамине и TD-обучении в головном мозге есть кое-что большее: дофамин, к примеру, связан с теми двигательными актами и расстройствами, которые возникают при болезни Паркинсона. И дофамин в большей степени связан с ошибками в прогнозах в положительную сторону, а не в отрицательную. Кажется, когда речь идет о неприятных стимулах – угрожающих, отвратительных или вредных, – работают совершенно иные схемы соединений.
380
См. Athalye et al., Evidence for a Neural Law of Effect.
381
Интервью автора с Эндрю Барто, 9 мая 2018.
382
Больше об универсальном определении разума см. в Legg and Hutter, Universal Intelligence и A Collection of Definitions of Intelligence, а также Legg and Veness, An Approximation of the Universal Intelligence Measure.
383
McCarthy, What Is Artificial Intelligence?
384
Шульц, Даян и Монтегю подытожили в статье A Neural Substrate of Prediction and Reward: «Без способности отличить, какой стимул несет ответственность за отклонения в передаваемом скалярном сигнале об ошибке, агент может научиться неприемлемым вещам, например приближаться к пище, когда ему хочется пить».
385
И. Бентам. Введение в основания нравственности и законодательства = An introduction to the principles of morals and legislation / И. Бентам. – М.: РОССПЭН, 1998.
