Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Как бы то ни было, в секретной лаборатории перед Скиннером стояла другая задача. Он сосредоточился не на том, чтобы понять, какой режим подкрепления глубже укореняет в сознании простые действия, а на том, как вызвать достаточно сложное поведение, используя только контролируемое вознаграждение. Труднее всего было, когда они с коллегами попытались научить голубя играть в боулинг. Исследователи сделали миниатюрную дорожку с игрушечными кеглями и собирались наградить птицу, как только она впервые прокатит по дорожке деревянный мячик. К несчастью, этого так и не случилось. Голубь не собирался делать ничего подобного. Экспериментаторы ждали и ждали, пока их терпение наконец не истощилось.
Тогда они попробовали другой подход. Скиннер вспоминал:
«Мы решили подкреплять любое действие, которое хоть как‐то связано с мячом – хотя бы взгляд в его сторону, – а потом выбирать наиболее близкие к удару по нему. Результат нас поразил. Через несколько минут мяч отскакивал от стенок коробки, как будто голубь был чемпионом по сквошу».
Результат был настолько поразительным и даже шокирующим, что двое исследователей из группы Скиннера – супруги Мариан и Келлер Бреланд – решили бросить работу в области академической психологии и основать компанию по дрессировке животных. «Мы хотели попытаться заработать себе на жизнь, – говорила Мариан, – используя принципы контроля поведения Скиннера» [390]. (Их друг Пол Мил, о котором мы кратко упоминали в главе 3, поставил десять долларов на то, что дело провалится. Это пари он проиграл, и Келлеры с гордостью вставили в рамку пришедший от него чек.) [391] Их компания Animal Behavior Enterprises стала крупнейшей в мире в своей сфере. Они дрессировали все виды животных для участия в телепрограммах, фильмах, рекламных роликах и для работы в тематических парках вроде SeaWorld. Супруги не просто заработали себе на жизнь, они создали целую империю [392].
В секретной лаборатории на мукомольном комбинате Скиннер думал о миниатюрной дорожке для боулинга как об озарении, изменившем ход его карьеры. Критическим моментом оказалось «постепенное формирование поведения с помощью поощрения грубого приближения к окончательному результату, не дожидаясь полной реакции» [393].
И все же проект «Голубь» был успешным только отчасти. Птицы работали великолепно. Настолько, что потрясли комиссию из управления научных исследований и разработок. Скиннер писал: «Голубь, выполняющий задания, – неважно, насколько приятным было это зрелище, – напомнил комиссии о том, каким фантастическим было наше предложение» [394]. В то время Скиннер об этом не знал, но правительство было заинтересовано в работе над Манхэттенским проектом – бомбой, радиус поражения которой был столь велик, что, по словам ученого, «казалось, что потребность в точной бомбардировке исчезнет раз и навсегда». Как бы то ни было, проект «Голубь» в конце концов оказался под крышей Лаборатории военно-морских исследований США под названием ORCON – сокращение от «органический контроль», – где исследования продолжались до послевоенных 1950‐х.
Скиннер гордился тем, что его концепция показала себя работоспособной, и в конце 1950‐х годов писал: «Можно сказать, что использование живых организмов в управляемых ракетах больше не кажется сумасшедшей идеей» [395]. Его доказательство, несмотря на красоту, оказалось совершенно неактуальным.
Главное, что ученые открыли формирование умений и навыков – метод, прививающий сложное поведение через простые вознаграждения, которые выдаются за ряд успешных приближений к необходимому действию. «Благодаря этому, – писал Скиннер, – возможно формировать поведение животного почти так же, как скульптор формирует комок глины» [396]. Эти мысль и термин стали критически важными в жизни и работе Скиннера [397]. Они получили применение и в бизнесе, и в повседневной жизни, что ученый предвидел с самого начала.
Он писал: «Некоторые из этих режимов подкрепления соответствуют практикам, установленным в промышленности при поденной оплате или сдельных ставках. Другие напоминают незаметные, но влиятельные стратегии в игре на автоматах, которые скандально известны своей способностью подчинять волю и поведение» [398]. Также он видел значительные возможности применения этого изобретения для родителей: «Научный анализ поможет лучше понимать межличностные отношения. Мы почти всегда осознанно или неосознанно тем или иным образом подкрепляем поведение других людей». Скиннер отмечал, что внимание родителей – мощный подкрепляющий стимул, и если они медленно реагируют на вежливые просьбы, то могут, сами того не желая, сделать детей назойливыми и нахальными. (Чтобы избежать этого, говорил он, надо с большей готовностью реагировать на приемлемое выражение требований и с меньшей – на громкое и невежливое.) [399]
Еще более пророческим было заявление Скиннера о том, что принципы, родившиеся в его работе, обучение в самом широком смысле слова (как людей, так и животных) могут стать серьезной предметной отраслью, где могут и будут происходить скачки вперед. «Часто говорят, что обучение – это искусство, – подытоживает он, – но у нас все больше причин надеяться на то, что в конце концов оно может стать наукой» [400].
Возможно, Скиннер оказался даже более прав, чем мог ожидать. В XXI веке говорить о «формировании» с большой вероятностью означает быть исследователем машинного обучения, думающим как психолог. Изучение вознаграждений и управления ими для получения необходимого результата в самом деле стало строгой наукой, использующей количественные определения, пусть даже обучаются и не органические организмы, как это представлял себе Скиннер.
Проблема разреженности
Есть способ сделать это лучше… найдите его!
Томас Эдисон [401]
Шотландский философ Александр Бейн в 1855 году первым применил фразу «методом проб и ошибок», описывая обучение людей и животных [402]. (Другое его крылатое выражение «эксперимент вслепую» известно не меньше, но не настолько закрепилось в языке.)
По своей сути обучение с подкреплением – это обучение методом проб и ошибок, а простейший алгоритм, формирующий эти пробы (или поиск на ощупь, если угодно), – это «эпсилон-жадный алгоритм» (можно написать и с греческой буквой ε «ε-жадный»). Букву ε используют математики, чтобы обозначить «малую толику», а «ε-жадный» – это сокращение от «будь жадным всегда, кроме малой толики времени». Субъект, управляемый ε-жадным алгоритмом, почти все время – скажем, в 99 % случаев – предпринимает действия, которые, по его мнению, принесут наибольшее вознаграждение в целом. При этом он основывается на том ограниченном опыте, который получил на данный момент. Но ε времени – например, оставшийся 1 % – он пробует сделать что‐то абсолютно случайным образом. Допустим, в игре на приставке Atari какую‐то часть времени он нажимает рандомные кнопки, чтобы посмотреть, что произойдет.
В обучении по такому исследовательскому поведению могут быть нюансы, но общая идея сохраняется. Пробуйте разное, делайте больше того, что принесет награду,
