Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Для простых сред, например лабиринтов или примитивных игр, вполне реально составить список всех возможных ситуаций и ставить «галочку» при каждом их посещении. (Рисовать путь по лабиринту карандашом – это, по сути, и есть создание такой записи.) Подход, при котором хранится гигантская таблица с описанием каждой ситуации, действий и результатов, называется «табличным» обучением с подкреплением. К сожалению, он абсолютно неприменим для чего‐либо сложнее простейших задач. Даже в «крестиках-ноликах» существуют тысячи уникальных позиций, а число возможных комбинаций в игре го выражается 170‐значным числом [493]. Всей компьютерной памяти мира не хватит, чтобы сохранить такую таблицу.
Помимо этих практических трудностей, в более сложных средах возникает глубокий философский вопрос: что вообще считать «одной и той же ситуацией»? В играх Atari, например, количество вариантов расположения пикселей настолько велико, что педантичное отслеживание каждого кадра и поощрение за малейшее отличие не приведет к интересному поведению. В играх даже средней сложности вы едва ли когда‐нибудь увидите абсолютно идентичный набор пикселей дважды. С этой точки зрения практически каждая ситуация уникальна, и каждое действие совершалось впервые. Даже если бы вы могли сохранить такую таблицу, пользы от нее было бы немного.
Когда в обычной жизни мы говорим: «Я никогда не сталкивался с такой ситуацией», мы не имеем в виду «именно на этой широте и долготе, в эту наносекунду, при таком же падении света на сетчатку и с теми же мыслями в голове». Такое утверждение было бы технически верным, но бессмысленным. Мы имеем в виду ключевые, порой едва уловимые характеристики ситуации. Именно по ним мы судим о новизне.
В играх Atari нам хотелось бы уметь определять, является ли текущая ситуация на экране по сути похожей на те, что мы видели раньше, и находить глубинные, неочевидные связи между ними.
В лондонском офисе DeepMind Марк Беллемаре задался вопросом: как адаптировать эту красивую, но труднореализуемую идею «подсчета посещений» для сложных сред? В играх вроде Frogger или Freeway, где нужно пересечь оживленную трассу, каждое успешное пересечение должно засчитываться как знакомое действие, даже если поток машин каждый раз генерируется случайно.
Беллемаре и его коллеги экспериментировали с математической концепцией «плотностной модели», и она показалась им перспективной [494]. Идея заключалась в использовании обучения без учителя для создания модели, способной предсказывать недостающие части изображения на основе контекста. (Это напоминает Word2vec и другие языковые модели, предсказывающие пропущенные слова в тексте.) Ученые «скармливали» этой модели все скриншоты, увиденные агентом, а затем использовали ее прогнозы для оценки вероятности: насколько «предсказуем» каждый новый экран с учетом прошлого опыта? Чем выше вероятность, тем знакомее экран; чем она ниже – тем выше новизна. Идея была заманчивой, но оставалось непонятным, как заставить ее работать на практике.
Они начали эксперименты с игрой Q*bert (классика Atari начала 1980‐х), где нужно прыгать по пирамиде из кубов, перекрашивая их, чтобы перейти на следующий уровень. Исследователи запустили DQN-агента, который учился играть с нуля, и вывели на экран индикатор «новизны», основанный на их плотностной модели.
Поначалу все было совершенно новым – совсем как у людей. Индикатор зашкаливал: каждый кадр регистрировался как невиданный ранее. Ученые тренировали агента несколько часов, позволяя ему сосредоточиться на зарабатывании очков (в Q*bert дают 25 очков за каждый перекрашенный блок). Затем они стали наблюдать за игрой опытного агента. Он прыгал по пирамиде, набирая очки, а зеленая полоска новизны (технически – отрицательный логарифм вероятности) едва отрывалась от нуля. Агент все это уже видел.
Беллемаре нашел запись тренировки, где агенту впервые удалось пройти первый уровень, и включил повтор. К его удовлетворению, по мере приближения к концу уровня зеленая полоса поползла вверх.
«Агент двигался к финалу уровня и словно говорил: „О, а вот этого я раньше не видел! Это мне в новинку“, – рассказывал Беллемаре. – Получилась красивая зависимость: чем ближе к концу игры, тем сильнее сигнал» [495].
Агент прыгнул на последний блок, пройдя уровень в первый раз. Экран заполнился вспышками, пирамида из бирюзовых кубов исчезла, и на ее месте возникла новая, ярко-оранжевая. «Вы только посмотрите на это!» – воскликнул Беллемаре. Зеленая полоска подскочила вверх. Новизна зашкаливала. «Агент мгновенно понял: „Я здесь еще никогда не был!“»
Казалось, плотностная модель верно улавливала суть новизны в сложных разнообразных средах, слишком больших для прямого подсчета вариантов. «Мы смотрели на результаты и думали: с этим определенно можно что‐то сделать».
Теперь вопрос стоял так: смогут ли исследователи использовать эту модель (они назвали ее «псевдоподсчетом»), чтобы мотивировать агента искать новые состояния? [496] Что, если награждать его не за игровые очки, а просто за то, что он видит что‐то новое? Получатся ли агенты, способные прогрессировать быстрее, чем те, что просто максимизируют награду и иногда действуют наугад?
Ставки были высоки. «Мы очень волновались, – рассказывал Беллемаре, – ведь мы были в шаге от того, чтобы расколоть „твердый орешек“ Montezuma’s Revenge».
В храме, где застрял Панама Джо, 24 комнаты. После трех недель непрерывной игры DQN-агент, показавший сверхчеловеческие результаты в других играх Atari, смог добраться только до второй комнаты. Перед ним лежал огромный неизведанный храм, полный опасностей и скупой на награды. Возможно, если вознаграждать игрока просто за новизну, он сможет зайти дальше, чем кто‐либо до него?
Беллемаре и его группа надеялись, что агент, воспринимая сигналы новизны как дополнительные бонусы к очкам, станет более мотивированным и успешным. Они запустили обучение на тот же срок, что и для обычного DQN-агента – сто миллионов кадров, или почти три недели круглосуточной игры. Разница была потрясающей.
Тот же DQN-агент, но обучаемый с учетом новизны, гораздо быстрее нашел первый ключ и за отведенное время прошел не две, а пятнадцать комнат храма. Агент, движимый любопытством, не только набрал больше очков – он демонстрировал качественно иное поведение. «Предпочтение новизны» удалось превратить в эффективный инструмент исследования территории, где одних наград было недостаточно.
И в этом поведении чувствовалось что‐то человеческое. Агент не просто дергал джойстик, когда не было награды. У него появилась внутренняя причина действовать.
«Агент с псевдоподсчетом тут же выбрался наружу и отправился исследовать мир», – говорил Беллемаре.
Прелесть неожиданности
Механизм познавательного любопытства… работает с помощью эквивалента концептуального конфликта, его функция – в сущности, мотивационная.
Даниэль Берлайн [497]
Дети – не маленькие ученые, это ученые – большие дети.
Элисон Гопник [498]
Еще одно
