Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Постепенно сформировалось целое направление, изучающее этот вопрос. Чему могут научиться животные, если в процессе обучения не использовать никаких наград?
Как заметил Берлайн, история психологии по большей части занималась людьми и животными, которых принуждали к тем или иным действиям: заполнять опросники, устно отвечать на вопросы, нажимать на рычаги, чтобы получить пищу. В этом смысле в науке образовалось своего рода методологическое «белое пятно»: как вообще подступиться к проблеме поведения организма, на который никто не оказывает влияния? Сама постановка вопроса казалась внутренне противоречивой.
«Психологии в некотором смысле не повезло, что человеческие существа настолько обязательны и уступчивы, – писал Берлайн [478]. – Легкость, с которой внешние и искусственные мотивации могут быть внедрены в сознание людей, мешает нам изучать те факторы, которые управляют нами в отсутствии внешнего давления».
В середине ХХ века исследования, основанные на дрессировке животных с помощью наград и наказаний, доминировали в психологии настолько, что временами казалось: эти понятия могут объяснить все поведение разумных существ. Но то тут, то там всплывали данные, которые не вписывались в схему. К 1950 году Гарри Харлоу из университета Висконсина начал подробно изучать, как макаки-резусы возятся с механическими головоломками из замков и щеколд, и для описания этого процесса ввел термин «внутренняя мотивация» [479]. Иногда эта мотивация появлялась не просто в отсутствии внешних наград, но даже вопреки им. Удивительно, но голодная крыса могла отказаться от еды или пересечь загородку под напряжением, лишь бы исследовать неизвестное пространство. Обезьяны нажимали на рычаги не только ради печенья и сока, но и просто чтобы выглянуть в окно [480]. В строгом мире скиннеровских стимулов и реакций для такого поведения не оставалось места, и очевидного объяснения этим явлениям не находилось.
Тем не менее, по мнению Берлайна, внутренняя мотивация, наряду с голодом и половым влечением, составляет ядро человеческой природы, несмотря на то, что «психологи неоправданно игнорировали ее в течение многих лет» [481]. (В самом деле, самое суровое наказание, налагаемое обществом на человека, за исключением смертной казни, – это одиночное заключение, которое по сути является пыткой скукой.) В своей знаменитой книге «Конфликт, возбуждение и любопытство» (Conflict, Arousal, and Curiosity) Берлайн отмечает, что серьезное изучение любопытства началось лишь в конце 1940‐х годов; он не считал совпадением, что именно в это время на сцену вышли информатика и нейронаука [482]. Похоже, подлинное понимание любопытства возможно только на стыке этих трех дисциплин [483].
Очевидно, Берлайна любопытство интересовало в обычной жизни не меньше, чем как объект изучения. Он знал не менее десяти языков (на шести или семи говорил свободно), был талантливым пианистом, увлекался бегом и путешествиями. До своей преждевременной смерти в 52 года он поставил цель проехать по всем линиям метрополитена, существующим в мире. Несмотря на колоссальную продуктивность, ученый редко работал по ночам и выходным – ему всегда было чем заняться помимо работы [484].
Его идеи, в особенности стремление связать психологию с нейронаукой и информатикой, вдохновили следующие поколения ученых на то, чтобы замкнуть этот круг. С конца 2000‐х и в течение всего бума глубокого обучения в 2010‐х математики и специалисты по теории информации, столкнувшись с проблемой внутренней мотивации в таких задачах, как Montezuma’s Revenge, искали ответы в трудах Берлайна.
Ученый считал, что в широком смысле человеческая внутренняя мотивация охватывает три связанных, но самостоятельных стремления: к новизне, к неожиданности и к преодолению сложностей. Каждое из них предлагает заманчивые идеи о природе мотивации и обучения, которые в этом десятилетии могут оказаться применимы как к людям, так и к машинам.
Новизна
Вопрос, на который исследователи всегда хотят ответить, звучит следующим образом: «Как отреагирует это животное на данный раздражитель?» … Когда же экспериментальная ситуация усложняется … возникает новый вопрос: «На какой именно раздражитель реагирует животное?»
Даниэль Берлайн [485]
Всякий раз, оказываясь между двух зол, я выбираю то, с которым еще не сталкивалась.
Мэй Уэст [486]
Одно из понятий, лежащих в основе человеческого любопытства и нашей внутренней мотивации, – это новизна. В отсутствие сильных внешних стимулов мы действуем не хаотично, как простые агенты обучения с подкреплением, использующие эпсилон-жадный алгоритм. Напротив, мы целенаправленно, последовательно и предсказуемо двигаемся ко всему новому.
В середине 1960‐х годов Роберт Фанц из университета Кейс Вестерн заметил, что уже в двухмесячном возрасте младенцы смотрят на знакомые картинки из журналов меньше времени, чем на новые [487]. Фанц особенно оценил тот факт, что задолго до того, как дети приобретают моторные навыки для физического изучения мира, они начинают исследовать его визуально и делают это весьма активно. Такое поведение, получившее название «предпочтение новизны», стало фундаментальным элементом возрастной психологии и одной из самых ярких характеристик поведения младенцев.
На самом деле, стремление детей смотреть на новые объекты настолько сильно, что психологи научились использовать его для проверки остроты зрения и даже памяти младенцев [488]. Может ли ребенок отличить два похожими изображения? Два оттенка одного цвета? Помнит ли он, что видел час, день, неделю назад? Врожденная тяга к визуальной новизне дает ответы на эти вопросы. Если младенец задерживает взгляд на картинке, можно предположить, что он видит отличия от предыдущей. Если спустя неделю он смотрит на знакомое изображение меньше времени, значит, он в какой‐то мере помнит его. Результаты этих тестов показали, что дети приобретают когнитивные способности раньше, чем было принято считать. Стимул визуальной новизны стал одним из самых мощных инструментов в руках психологов, позволяющим проникнуть в тайны развивающегося мозга [489].
Сообществу специалистов по обучению с подкреплением потребовалось не так много времени, чтобы взять на вооружение идею о естественной привлекательности новизны и применить ее в компьютерной сфере [490]. Одна из простейших идей заключалась в том, чтобы просто подсчитывать, сколько раз обучающийся агент попадал в конкретную ситуацию. Затем, при прочих равных, заставлять его выбирать действия, которые он совершал реже всего. К примеру, в 1990 году Ричард Саттон предложил добавлять «исследовательский бонус» к вознаграждению агента, если он делает что‐то новое или давно забытое [491].
Однако в этой бочке меда есть очевидная ложка дегтя. Что значит «подсчитать, сколько раз мы совершаем это действие в данной ситуации»? Как писал Берлайн еще в 1960 году: «Слово „новый“ широко используется в повседневной речи, и кажется, что мы понимаем его без труда. Но когда мы пытаемся
