Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

этой области. По примеру других ученых, нам пришлось придумать хотя бы одно искусственное неогреческое выражение для устранения пробела» (Винер Н. Кибернетика, или управление и связь в животном и машине. – 2‐е издание. – М.: Наука; Главная редакция изданий для зарубежных стран, 1983, с. 56–57). Он использовал этимологический корень из греческого χυβερνητησ или – если писать латинскими буквами kybernetes – «кормчий», «капитан», «губернатор». Английское слово governor (правитель, губернатор, регулятор) происходит от того же корня, произношение и написание которого искажено (считается, что оно заимствовано у этрусков). Как и со многими новыми словами, вначале существовали варианты написания. Например, в технической книге Стэнли-Джонсов «Кибернетика естественных систем» (Stanley-Jones and Stanley-Jones, Kybernetics of Natural Systems), опубликованной в Лондоне в 1960 году, есть альтернативное написание с буквой K. (Что же касается написания… я предпочитаю Kybernetics по этимологическим соображениям.) До Винера, в 1868 году, это слово на английском использовал Джеймс Клерк Максвелл, чтобы описать электрические регуляторы (governors), о чем вспоминал и сам Винер. Еще раньше – что ускользнуло от Винера – в 1834 году Андре-Мари Ампер использовал этот термин с морским оттенком значения, чтобы сказать об управлении в контексте социальных наук и политической власти. Согласно Амперу, этот перенос с управления кораблем на государственную власть использовался уже в оригинальных греческих текстах. См. Максвелл Д. К. О регуляторах. // Максвелл Д. К., Вышнеградский И. А., Стодол А. Теория автоматического регулирования. – М.: Изд-во АН СССР, 1949. С. 9–29 и Ampere A. – М. Essai sur la philosophie des sciences. – 2nd partie. – Paris: Bachelier, 1843. Chapitre IV. § IV. P. 140–142.

319

Винер Н. Кибернетика, или управление и связь в животном и машине, с. 164.

320

Rosenblueth, Wiener, and Bigelow, Behavior, Purpose and Teleology.

321

Klopf, Brain Function and Adaptive Systems: A Heterostatic Theory. В истории машинного обучения идея «гедонистического нейрона» появляется в несколько иной форме. См., например, систему SNARC, описанную в работе Minsky, Theory of Neural-Analog Reinforcement Systems and Its Application to the Brain Model Problem и главу 15 в книге Саттона и Барто «Обучение с подкреплением».

322

Andrew G. Barto, Reinforcement Learning: A History of Surprises and Connections (лекция), 19 июля 2018 года, Международная совместная конференция по искусственному интеллекту в Стокгольме, Швеция.

323

Интервью автора с Эндрю Барто 9 мая 2018.

324

Каноническая книга по обучению с подкреплением Саттона и Барто «Обучение с подкреплением» недавно была переиздана. Краткое изложение происходящего в отрасли до середины до 1990‐х см. также в Kaelbling, Littman, and Moore, Reinforcement Learning.

325

Ричард Саттон определяет эту идею и рассказывает о ней в http://incompleteideas.net/rlai.cs.ualberta.ca/RLAI/rewardhypothesis.html. Также она появляется в книге Саттона и Барто «Обучение с подкреплением». Саттон говорит, что впервые услышал о ней от специалиста по информатике из Брауновского университета Майкла Литтмана. Тот же считал, что услышал о ней от Саттона. Но первое упоминание, кажется, действительно относится к лекции, которую Литтман прочел в начале 2000‐х годов, где он утверждал, что «разумное поведение прорастает из действий индивида, направленных на максимизацию получаемых им сигналов вознаграждения в сложном и меняющемся мире». О том, как Литтман вспоминает эту историю, см. в Michael Littman: The Reward Hypothesis (лекция), университет Альберты, 16 октября 2019 года, доступна на https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/michael-littman-the-reward-hypothesis-q6x0e.

Несмотря на то что эта специфическая формулировка появилась недавно, идея понимания поведения как мотивированного (внешне или внутренне) какой‐то формой поддающегося количественной оценке вознаграждения очень широко связана с теорией полезности. См. Bernouilli, Specimen theoriae novae de mensura sortis, Samuelson, A Note on Measurement of Utility и von Neumann and Morgenstern, Theory of Gamesand Economic Behavior.

326

Richard Sutton, Introduction to Reinforcement Learning (лекция), университет штата Техас в Остине, 10 января 2015.

327

«Есть только три возможных сравнения между двумя [скалярными] числами, – говорит Чанг. – Одно число может быть больше, меньше или равно другому. С ценностями дело обстоит иначе. Как существа, появившиеся на свет после эпохи Просвещения, мы склонны предполагать, что научное мышление содержит разгадки всех важных вопросов нашего мира, но мир ценностей отличается от мира науки. В последнем вещи могут быть измерены действительными числами. В первом такой возможности нет. Мы не должны предполагать, что мир, который есть, который имеет измерения и вес, обладает той же структурой, что и мир, который должен быть – мир того, что мы должны делать». См. Ruth Chang, How to Make Hard Choices (лекция), TEDSalon NY2014: https://www.ted.com/talks/ruth_chang_how_to_make_hard_choices.

328

Идея обучения с подкреплением как «обучения с критиком» появилась, по крайней мере, в работе Widrow, Gupta, and Maitra, Punish/Reward.

329

О таких алгоритмах, как алгоритм обратного распространения ошибки, можно думать как о решении задачи присваивания коэффициентов доверия не временно, а структурно. Саттон в Learning to Predict by the Methods of Temporal Differences подытоживает: «Цель обратного распространения ошибки и методов временных различий – точное присваивание коэффициентов доверия. Алгоритм обратного распространения ошибки решает, какие части (или часть) нейросети изменить так, чтобы повлиять на ее выходные данные и снизить общую погрешность. Методы временных различий же решают, как изменить каждый результат во временно́й последовательности выходных данных. Алгоритм обратного распространения ошибки дает структурное решение задачи присваивания коэффициентов доверия, тогда как метод временных различий – временно́е решение».

330

Olds, Pleasure Centers in the Brain, 1956.

331

Olds and Milner, Positive Reinforcement Produced by Electrical Stimulation of Septal Area and Other Regions of Rat Brain.

332

См. Olds, Pleasure Centers in the Brain, 1956 и Olds, Pleasure Centers in the Brain, 1970.

333

Corbett and Wise, Intracranial Self-Stimulation in Relation to the Ascending Dopaminergic Systems of the Midbrain.

334

Schultz, Multiple Dopamine Functions at Different Time Courses, количество дофаминовых нейронов в человеческом головном мозге оценивается примерно в 400 000, а общее число нейронов – приблизительно от 80 до 100 миллиардов.

335

Bolam and Pissadaki, Living on the Edge with Too Many Mouths to Feed.

336

Там же.

337

Glimcher, Understanding Dopamine and Reinforcement Learning.

338

Romo and Schultz, Dopamine Neurons of the Monkey