Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
Через много лет после своего первого исследования пневмонии Каруана взял ту же базу данных и создал обобщенную аддитивную модель для ее изучения. Оказалось, что эта модель так же точна, как его старая нейронная сеть, и обладает куда большей прозрачностью. К примеру, он представил риск смерти от пневмонии как функцию от возраста. Вывод соответствовал ожиданиям: если у вас пневмония, вам лучше быть молодым или в среднем возрасте – чем вы старше, тем больше опасность. Но была одна удивительная вещь: внезапный резкий скачок в возрасте 65 лет. Странно, что один день рождения запускал такой всплеск риска. Что же произошло? Каруана понял, что модель сумела усвоить влияние выхода на пенсию. «Правда, раздражает, что это может быть опасным? Вы надеетесь, что, как только выйдете на пенсию, риск уменьшится; грустно, но он только возрастет» [224].
Куда важнее то, что чем внимательнее Каруана изучал свою модель, тем больше проблемных связей замечал. Он боялся, что его старая нейросеть усвоила не только проблемную корреляцию с астмой, но и другие подобные соотношения, при этом простым, основанным на правилах моделям того времени не хватало мощности, чтобы показать, что еще могло проскочить в нейронную сеть. Теперь, двадцать лет спустя, у него были мощные интерпретируемые модели. Это как получить более мощный микроскоп и неожиданно увидеть пылевых клещей на своей подушке и бактерии на коже.
«Я смотрел на нее и думал: о боже, не могу поверить! Она считает, что боль в груди – это хорошо. Она полагает, боль в сердце – еще лучше. Она считает, что весить больше 100 кг – просто отлично… Она считает хорошим все, что для пациента плохо» [225].
Во всем этом здравого смысла было не больше, чем в ситуации с астмой: корреляции были абсолютно реальными, но они вытекали из того, что подобных пациентов в первую очередь отправляли в палаты интенсивной терапии, и именно поэтому они выживали с большей вероятностью.
«Слава Богу, – говорит Каруана, – что мы не внедрили нейронную сеть».
Сегодня Каруана утверждает, что оказался в положении, отличным от ситуаций большинства исследователей. Он продолжает разрабатывать архитектуру модели, которая обещает такую же точность прогнозов, как у нейронной сети, но при этом остается понятной. Но вместо того, чтобы продвигать решение собственного изобретения – к примеру, продвинутую версию обобщенной аддитивной модели [226], – он говорит о самой проблеме. «Все совершают такие ошибки, – рассказывает Каруана. – Я сам делал их много десятков лет и даже не подозревал о них.
Сейчас моя цель – напугать людей. Ужаснуть их. Я пойму, что добился успеха, если они остановятся и подумают: „Вот черт! У нас и правда здесь проблема!“»
Проблема черного ящика
Природа скрывает свои секреты за счет присущей ей высоты, а не путем уловок.
Альберт Эйнштейн
Объяснение причин – это антитеза власти. Когда голос власти умолкает, говорит голос разума. И наоборот.
Фредерик Шауэр [227]
Рич Каруана – далеко не единственный, кто в последние годы так или иначе пришел к мысли: «Вот черт! У нас и правда здесь проблема!» По мере того как модели машинного обучения распространяются в инфраструктуре принятия решений по всему миру, многие начинают чувствовать себя неуютно, сознавая, как мало знают о том, что происходит внутри моделей.
Каруана ощущает себя особенно неуютно, когда пользуется большими нейросетями, поскольку они давно имеют репутацию «черных ящиков». При том, что нейронные сети очень быстро проникают во все сферы – от промышленности до медицины и вооруженных сил, – все больше людей охватывает такое же волнение.
В 2014 году руководитель группы проектов Управления перспективных исследовательских проектов министерства обороны США (Defense Advanced Research Projects Agency, DARPA) Дэйв Ганнинг говорил с Дэном Кауфманом, директором подразделения инноваций в информационных технологиях. «Мы обдумывали разные идеи того, что может делать ИИ, – рассказывал Ганнинг [228]. – Мы отправили целую группу специалистов по теории и методам анализа данных в Афганистан, чтобы работать с информацией и пытаться найти схемы, которые могут быть полезны для военных истребителей. И они уже начали замечать, что эти методы машинного обучения усваивают интересные схемы, но их пользователи часто не могут объяснить почему». Быстро развивающийся набор инструментов мог оценивать финансовые записи, информацию о передвижениях, логи сотовых телефонов и многое другое, чтобы определить, не планируют ли люди забастовку. «Могли возникать подозрительные паттерны, – рассказывал Ганнинг, – но теперь хотелось понять почему». Объяснить это они не могли.
Примерно в то же время Ганнинг побывал на собрании, организованном системой разведорганов в лаборатории аналитических наук университета штата Северная Каролина. Семинар собрал исследователей машинного обучения и экспертов по визуализации данных. «В аудитории был правительственный аналитик разведки. Она слушала, как мы говорим обо всем, что может делать технология машинного обучения, – вспоминал Ганнинг, – и была настроена непреклонно. Ее проблема состояла в том, что она уже использовала алгоритмы больших данных, и те давали ей рекомендации. Но чтобы передать их наверх, ей приходилось под ними подписываться. И ее оценивали – и могли уволить, – основываясь на том, верны ли те рекомендации. Но она не понимала их логики». Должна ли она ставить свою фамилию под документом? И на каких основаниях ей следует принимать решения?
С развитием компьютерных технологий специалисты в области обороны обнаружили, что им все чаще приходится задумываться о том, как могло бы выглядеть автоматизированное сражение, о рисках и проблемах автономного оружия. Многие из этих вопросов и проблем по сей день остаются теоретическими.
«В области проблем анализа разведданных эти системы уже существуют, и люди их используют, – говорит Ганнинг. – Понимаете, что я имею в виду? Проблема уже есть. И ее нужно решать».
В течение двух лет Ганнинг стал руководителем многолетней программы DARPA, пытающейся решить эту проблему. Он назвал проект XAI: Explainable Artificial Intelligence
