Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

676

Интервью автора со Стюартом Расселом, 13 мая 2018.

677

Стоит отметить, что передача объекта другому лицу – это само по себе удивительно неуловимое и сложное действие, включающее формирование логических умозаключений о том, как другой человек хочет держать объект, как просигнализировать ему о том, что ты намереваешься сделать и т. д. См. Strabala et al., Toward Seamless Human-Robot Handovers.

678

Hadfield-Menell et al., Cooperative Inverse Reinforcement Learning. (Сокращенно CIRL, произносится с звуком с, созвучно с фамилией скептически настроенного по отношению к ИИ философа Джона Серла, не имеющего к описанному в статье никакого отношения.) Я призывал сообщество исследователей ИИ произносить эту аббревиатуру со звуком к, что имеет смысл, так как этот звук есть в слове cooperative (совместный), но, кажется, мою инициативу зарубили на корню.

679

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

680

Рассел С. Совместимость. Как контролировать искусственный интеллект. – Пер. с англ. Н. Колпаковой. – М.: Альпина нон-фикшн, 2021.

681

Например, одно из первых теоретических преимуществ платформы CIRL – эффективное использование раннего когнитивного научного исследования стратегии взаимной адаптации учителя и ученика. См. Fisac et al., Pragmatic-Pedagogic Value Alignment, где используются находки из работы Shafto, Goodman, and Griffiths, A Rational Account of Pedagogical Reasoning. Фисак и его коллеги пишут: «Насколько нам известно, это первый формальный анализ выравнивания ценностей, основанный на эмпирически обоснованных когнитивных моделях». См. также последовавшую за ней статью, в работе над которой приняли участие многие из авторов первой: Malik et al., An Efficient, Generalized Bellman Update for Cooperative Inverse Reinforcement Learning.

682

Майя Чакмак из университета Вашингтона в Сиэтле и Мануэль Лопес из Высшего технического института Лиссабона работали над этой идеей, см. çakmak and Lopes, Algorithmic and Human Teaching of Sequential Decision Tasks. Разумеется, если человек ведет себя максимально педагогично – оптимизированно не по каким‐то критериям, а чтобы донести эти критерии до ученика, – то компьютер, в свою очередь, не будет использовать стандартное обратное обучение с подкреплением, которое предполагает, что демонстрации оптимальны. Он придет к тому, что поведение учителя педагогично от природы. Стратегии обучения и научения адаптируются друг к другу. Это богатое и плодотворное пространство для активных исследований как в когнитивистике, так и в машинном обучении. См. также Ho et al., Showing Versus Doing и Ho et al., A Rational-Pragmatic Account of Communicative Demonstrations.

683

См. Gopnik, Meltzoff, and Kuhl, The Scientist in the Crib: «Выяснилось, что мамины колыбельные песни – это не сладкие мелодии сирен, которые мы используем, чтобы убаюкать младенцев… Когда [родители] говорят с малышами, они бессознательно воспроизводят звуки более четко и произносят их точнее по сравнению с общением с другими взрослыми». Автор отмечает, что английские и шведские колыбельные звучат по-разному. Более современные работы по теме см. Eaves et al., Infant-Directed Speech Is Consistent With Teaching и Ramirez, Lytle, and Kuhl, Parent Coaching Increases Conversational Turns and Advances Infant Language Development.

684

Передача предметов из рук в руки находится в фокусе исследований взаимодействия человека и робота. См. Strabala et al., Toward Seamless Human-Robot Handovers.

685

Drăgan, Lee, and Srinivasa, Legibility and Predictability of Robot Motion; см. также Takayama, Dooley, and Ju, Expressing Thought (стоит отметить, что эта работа ссылается на понятие «считываемого» движения) и Gielniak and Thomaz, Generating Anticipation in Robot Motion. Более современная работа, рассматривающая, как передать машине не только цель, но и план ее достижения: Fisac et al., Generating Plans That Predict Themselves.

686

Интервью автора с Яном Лейке, 22 июня 2018. См. также Christiano et al., Deep Reinforcement Learning from Human Preferences: «Оффлайн обучение программы, предсказывающей вознаграждение, может привести к выработке нежелательного поведения при столкновении с настоящей наградой. Например, при оффлайн обучении игре в Pong агент иногда не хочет терять очки, но при этом их не набирает. В результате получаются очень длинные серии обмена ударами. Этот тип поведения показывает, что универсальная обратная связь с человеком должна быть тесно связана с обучением с подкреплением, а не подаваться в виде статистики».

687

Интервью автора с Джули Шах, 2 марта 2018.

688

Исследования перекрестного обучения у людей см. в Blickensderfer, Cannon-Bowers, Salas, Cross-Training and Team Performance, Cannon-Bowers et al., The Impact of Cross-Training and Workload on Team Functioning и Marks et al., The Impact of Cross-Training on Team Effectiveness.

689

Nikolaidis et al., Improved Human-Robot Team Performance Through Cross-Training: An Approach Inspired by Human Team Training Practices.

690

Julie Shah: Human/Robot Team Cross Training.

691

В более современных работах лаборатории Шах исследовались случаи, когда поменяться ролями невозможно. Тогда можно использовать связанную идею под названием «обучение с отклонением»; см. Ramakrishnan, Zhang, and Shah, Perturbation Training for Human-Robot Teams.

692

Мердок А. Колокол. – Пер. Рединой О. Н. – М.: АСТ, 2022.

693

Чрезмерное употребление алкоголя вредит вашему здоровью. – Прим. ред.

694

Некоторые исследователи, работающие на стыке когнитивистики и безопасности ИИ, в том числе Оуэн Эванс из Института будущего человечества, исследуют способы обратного обучения с подкреплением, принимая во внимание человека, который, к примеру, не может не заглянуть в кондитерскую, если она попалась ему на пути, так что ему приходится выбирать другой маршрут, чтобы избежать соблазна. См. Evans, Stuhlmuller, and Goodman, Learning the Preferences of Ignorant, Inconsistent Agents и Evans and Goodman, Learning the Preferences of Bounded Agents. Существует целое направление исследований обратного обучения с подкреплением, объединяющее странности и иррациональности в человеческом поведении. См. Bourgin et al., Cognitive Model Priors for Predicting Human Decisions, где говорится об использовании машинного обучения для разработки моделей человеческих предпочтений и принятия решений.

695

См. Snyder, Public Appearances, Private Realities, Covey, Saladin, and Killen, Self-Monitoring, Surveillance, and Incentive Effects on Cheating и Zhong, Bohns, and Gino, Good Lamps Are the Best Police.

696

См. Bateson, Nettle, and Roberts, Cues of Being Watched Enhance Cooperation in a Real-World Setting и Heine et al., Mirrors in the Head.