Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Вторая проблема – это так называемое противодействие. ИИ, запрограммированный на строгое сохранение статус-кво, может физически не позволить проходящему мимо человеку совершить «необратимое» действие – например, откусить кусок сэндвича.
«Именно поэтому проблема побочных эффектов так коварна, – говорила Краковна. – Что считать точкой отсчета?» [744] Должна ли система оценивать масштаб изменений относительно исходного состояния мира? Или относительно того сценария, который развернулся бы, если бы система ничего не делала? В обоих случаях возникают ситуации, противоречащие здравому смыслу.
В своей последней работе Краковна предложила подход «поэтапных ориентиров». Работает это так: если для достижения цели действие с масштабными последствиями неизбежно (нельзя приготовить омлет, не разбив яиц), то после совершения этого целевого действия система фиксирует новую «точку отсчета» (новый статус-кво). ИИ не должен пытаться судорожно все «отменить», совершая еще более разрушительные компенсаторные действия [745].
Вместе с коллегами по DeepMind Краковна не ограничилась теорией. Они создали набор простых виртуальных сред в духе старых приставочных игр, чтобы наглядно тестировать алгоритмы безопасности. Проект назвали AI Safety Gridwolds («Сетки безопасности ИИ»). Это двумерные миры-клетки, где мысленные эксперименты можно проверять на практике [746].
Один из таких миров, идеально иллюстрирующий концепцию необратимости, основан на классической японской головоломке Sokoban («кладовщик»), где герой двигает ящики по складу. Главное правило игры: ящики можно только толкать, тянуть на себя нельзя. Если загнать ящик в угол, он останется там навсегда.
«Sokoban послужила отличным вдохновением, потому что она блестяще иллюстрирует необратимость, – говорила Краковна. – В этой игре вам нужно совершать постоянные, необратимые изменения (двигать ящики), но делать это в строгом порядке. Вы не должны совершать лишних необратимых шагов, иначе заблокируете себе путь. Мы немного изменили правила: в нашей версии захламление углов не мешает ИИ дойти до финиша, но система все равно должна научиться избегать таких действий» [747].
Краковна с коллегами создали уровень, где самый короткий путь к цели заставлял ИИ задвинуть стоящий на проходе ящик в глухой угол. Чуть более длинных путь в обход позволял сдвинуть ящик на открытое пространство. Примитивный ИИ, запрограммированный только на скорость, не задумываясь загонял ящик в угол, откуда его больше нельзя было достать. Идеальный, «осторожный» ИИ должен был выбрать более длинный, но безопасный маршрут, не оставляющий после себя необратимых изменений среды.
Подход, предложенный Краковной для решения этой задачи, называется «поэтапной относительной достижимостью». Суть в том, чтобы ИИ постоянно просчитывал: сколько вариантов развития событий (состояний мира) доступно ему сейчас [748]? Задача агента – достигать своей цели, стараясь при этом не сокращать количество доступных опций в будущем. Например, как только ящик загнан в угол, любая конфигурация мира, где этот ящик стоит в другом месте, становится недостижимой. ИИ, использующие этот принцип Gridworlds, вели себя очень аккуратно: они не загоняли ящики в углы, не били виртуальные вазы и не пытались фанатично отыграть назад те изменения, которые были необходимы для прохождения уровня.
Третью интересную идею предложил аспирант Университета штата Орегон Александр Тернер. По его мысли, причина, по которой нас беспокоят индексы Шанхайской биржи, сохранность фамильной вазы или застрявшие ящики в игре, заключается в том, что эти вещи связаны с нашими целями. Мы хотим обеспечить себе пенсию, любоваться цветами и выиграть в Sokoban. Что, если мы встроим эту концепцию в ИИ напрямую?
Идея Тернера называется «сохранение достижимой полезности». Системе дают в игре набор случайных вспомогательных целей. Прежде чем совершить шаг ради основной награды, ИИ должен убедиться, что этот шаг не сделает невыполнимыми эти второстепенные цели. Как ни удивительно, это требование заставило ИИ в Gridworlds вести себя предельно аккуратно, даже если вспомогательные цели генерировались абсолютно рандомно [749].
Когда эта идея впервые пришла Тернеру в голову, он записал уравнения на доске в университетской библиотеке. По пути домой он был так взбудоражен, что вернулся назад, чтобы сделать селфи на фоне формул. «Я подумал: вероятность того, что эта штука сработает – 60 %, и если это правда, я хочу запомнить этот момент. Так что я вернулся в библиотеку, весь светясь от счастья, и сфоткался у доски» [750].
В течение 2018 года он перевел свои формулы в код и запустил своего агента в тестовые миры DeepMind. Идея сработала! Агент успешно достигал главной цели, сохраняя при этом возможность выполнить 4–5 случайных вспомогательных задач. Что примечательно, ради этого ИИ добровольно выбирал более длинные маршруты, аккуратно сдвигая блоки на открытые места, и только потом направлялся к финишу.
Стюарт Армстронг ожидал, что для безопасного поведения ИИ потребуется около 20 миллиардов параметров оценки мира. Оказалось, что достаточно 4–5 случайно сгенерированных целей-ограничителей – по крайней мере, в упрощенной среде виртуального склада.
Дискуссии о критериях машинной осторожности и о том, как перенести их из виртуальных симуляций в реальный мир, безусловно, продолжатся, но это обнадеживающее начало. И подход Краковны (поэтапная относительная достижимость), и подход Тернера (сохранение достижимой полезности) опираются на одну и ту же интуитивную мысль: мы хотим создавать системы, которые по мере продвижения к цели оставляют открытыми варианты выбора – и для себя, и для нас. Эти исследования также показывают, что виртуальные миры-«песочницы» вроде Gridworlds могут стать отличными полигонами для проверки теорий и дискуссий ученых.
В реальном же мире трудно предвидеть не только случайные последствия действий, но и результат того, что мы делаем целенаправленно. Например, вы публикуете научную статью по безопасности ИИ (или даже книгу). Вам кажется, что вы сделали полезное дело, но кто может заранее сказать, как именно это повлияет на мир?
Я спросил Яна Лейке (соавтора статьи о «Сетках безопасности ИИ»), какие отзывы он получает на свой проект. «Мне пишет множество людей, в основном студенты, – ответил Лейке. – Они говорят одно и то же: „О, безопасность ИИ – это круто! А тут еще готовый открытый код, можно просто запустить агента в симуляцию и поиграть с ним“. И люди реально это делают. К чему это приведет в итоге? Увидим через пару лет… Сейчас я не знаю. Это невозможно предсказать.
Возможность внесения поправок, задержка и степень соответствия
В знаменитой статье «Моральные и технические последствия автоматизации», написанной в 1960 году Норбертом Винером из Массачусетского технологического института, есть одна из самых пугающих и пророческих цитат в истории безопасности ИИ: «Если для достижения своих целей мы используем механического агента, работу которого невозможно прервать после запуска… тогда нам лучше быть уверенными в том, что цель – это цель, заложенная в машину, – это именно
