Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

модель, а сразу несколько. Ансамбль моделей будет выдавать единодушные ответы на данных, похожих на те, на которые они обучались. Но если подсунуть им нечто совершенно незнакомое, их мнения разойдутся. Этот разнобой – полезный сигнал: ансамбль раскололся, консенсуса нет, значит, действовать нужно с осторожностью.

Представьте, что у нас есть не одна, а сотня моделей, обученных определять породы собак. Если мы покажем им фотографию с телескопа «Хаббл» и спросим, кто это – дог, доберман или чихуахуа, – каждая отдельная модель ответит с абсолютной, но ложной уверенностью. Главное здесь то, что их ответы будут разными. Степень разногласий между моделями становится отличным индикатором того, насколько мы можем им доверять. Иными словами, мы можем измерять неопределенность через уровень разногласий [718].

Математически доказано, что байесовские нейронные сети можно рассматривать как бесконечно большие ансамбли [719]. И хотя ясно, что работать с бесконечностью на практике нельзя, использование даже просто большого количества моделей имеет очевидные минусы – это долго и требует огромной памяти. Вспомните, как Алекс Крижевский неделями обучал одну AlexNet. Обучение ансамбля из 25 таких сетей заняло бы год. Кроме того, этот тяжеловесный комплект нужно еще как‐то уместить в памяти компьютера.

Однако выяснилось, что эффективный способ приблизиться к этому «золотому стандарту» не просто существует – многие исследователи уже им пользовались. Ответ на загадку, мучившую ученых десятилетиями, все это время лежал у них перед носом, просто они этого не осознавали.

Как мы помним, одним из небольших, но гениальных решений, обеспечивших триумф AlexNet в 2012 году, стала функция «дропаут»: во время обучения случайные нейроны принудительно отключались. На каждом шаге решение принимала не вся сеть целиком, а лишь ее случайный фрагмент (50 % или 90 %). Метод не позволял отдельным частям нейросети стать доминирующими и заставлял систему гибко комбинировать разные пути решения. Это сделало ИИ гораздо стабильнее машинного обучения [720].

В то время как научное сообщество начало осознавать важность байесовской неопределенности и искать практичные замены этому недостижимому идеалу, Галь и Гахрамани поняли, что ответ все это время был на виду. Дропаут и был аппроксимацией байесовской неопределенности. Инструмент, который они искали, уже находился в их распоряжении [721].

Обычно дропаут использовали только во время тренировки, а когда готовую модель применяли на практике, его принудительно отключали (чтобы вся сеть работала слаженно и давала точные прогнозы). Но что будет, если оставить дропаут включенным у работающей системы? Делая предсказания много раз, при этом каждый раз отключая случайную часть сети, вы получите набор слегка отличающихся ответов. Это как получить огромный ансамбль сетей по цене одной модели. Оказалось, что возникающая при этом неопределенность ответов не просто похожа на поведение идеальной математической байесовской модели. Как доказали ученые, в рамках строгих теоретических границ это она и есть.

В итоге появился инструмент, который сделал некогда абстрактную теорию применимой в реальной жизни. «Это грандиозное изменение последних лет, – говорил Галь. – Теперь мы можем взять всю эту красивую математику, создать приближенные модели и применять их для решения по-настоящему сложных задач» [722].

Галь скачал из Интернета несколько лучших систем распознавания изображений и запустил их «как есть», но с одним изменением: он не отключил дропаут при тестировании. Программа прогоняла картинку несколько раз, а Галь считал средний результат. Выяснилось, что в таким режиме «скрытого ансамбля» модели работают даже точнее, чем в обычном [723].

«Оценка неопределенности – это то, без чего нельзя обойтись при решении задач классификации, – утверждал Галь. – Нейросети становятся гораздо точнее, если дают нам инструмент для измерения собственной неуверенности» [724]. Научив модель понимать, когда именно она чего‐то не знает, мы делаем огромный шаг вперед [725].

Один из самых ярких примеров такого подхода можно найти в медицине, а именно в диагностике диабетической ретинопатии (одной из главных причин слепоты среди людей трудоспособного возраста) [726]. Группа ученых из Института офтальмологии Тюбингенского университета в Германии под руководством Кристиана Лейбига решила применить идею Галя и Гахрамани на практике [727].

В первые же годы после появления AlexNet нейросети продемонстрировали колоссальный потенциал в медицине: новости о том, что «ИИ диагностирует болезнь Х с точностью 99 % (лучше врачей)», появлялись еженедельно. Но была одна огромная проблема. Как отмечали Лейбиг и его коллеги, обычные нейросети поставлялись «без каких‐либо инструментов для контроля неопределенности». ИИ не имел сугубо человеческой способности признавать, что он чего‐то не знает. «Врач всегда чувствует, если он не уверен в диагнозе, – писали исследователи, – и при необходимости проконсультируется с более опытным коллегой». Ученым нужна была система, способная на то же самое.

Опираясь на работы Галя и Гахрамани, группа Лейбига использовала дропаут для создания встроенного измерителя сомнений. Они научили нейросеть отличать здоровую сетчатку от больной, а затем настроили ее так, чтобы в 20 % случаев – там, где сомнения программы были максимальны – она запрашивала второе мнение: либо назначала дополнительные анализы, либо отправляла пациента к живому врачу.

Система знала, что она чего‐то не знает. И это не только повысило ее надежность. Хоть ученые из Тюбингена и не ставили себе такой цели, их ИИ выполнил и даже превзошел строгие требования Национальной службы здравоохранения Великобритании к автоматизированной постановке диагнозов. Это дает веские основания полагать, что подобные алгоритмы войдут в реальную медицинскую практику уже в ближайшем будущем [728].

В робототехнике все сложнее: машина не всегда может «позвать врача». Однако у системы, сомневающейся в своих решениях, есть универсальный способ проявить осторожность – просто снизить скорость. Группа исследователей из Беркли под руководством Грегори Кана связала показатель неопределенности (полученный через дропаут) напрямую со скоростью движения роботов – квадрокоптера и радиоуправляемой машинки [729]. Сначала роботов заставляли слегка врезаться в препятствия на малых скоростях, чтобы обучить систему прогнозировать столкновения. В эту систему был встроен механизм дропаута. В результате, когда робот оказывался на незнакомой территории и система предсказания начинала «сомневаться», он автоматически сбрасывал скорость и двигался крайне осторожно [730]. Чем больше опыта накапливал робот и чем увереннее становились прогнозы системы, тем быстрее ему разрешалось ехать.

Этот пример иллюстрирует глубокую связь между уверенностью и последствиями. Для робота главным негативным последствием было столкновение: скорость движения прямо пропорциональна ущербу от удара. Выяснилось, что неопределенность и размер ущерба неразрывно связаны. Интуитивно это очевидно: чем серьезнее последствия наших действий, тем увереннее мы должны быть перед тем, как их совершить. Это поднимает ряд сложных вопросов – в медицине, юриспруденции и машинном обучении: как именно измерять масштаб последствий и как в зависимости от этого должен меняться сам процесс принятия решений?

Измерение воздействия

Обращайся с