Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
В целом, по отношению к своей нынешней работе группа выражает осторожный оптимизм, у которого становится все больше подражателей. «Впереди еще много работы, прежде чем можно будет говорить о создании мощных и надежных интерфейсов для интерпретации, – пишут исследователи. – Но, если мы достигнем успеха, интерпретируемость станет мощным инструментом и для контроля со стороны человека, и для создания справедливых, безопасных и согласованных систем ИИ» [287].
Особенно больших успехов по-прежнему добиваются в визуализации, но что, если воспринимать нейронную сеть на уровне идей? Может быть, найдется способ понять ее внутреннее строение через слова? Это одна из новых областей, нуждающихся в объяснении.
Глубокие нейронные сети и человеческие понятия
Осенью 2012 года аспирантка Массачусетского технологического института Бин Ким, начинавшая работу над диссертацией для получения степени PhD, занялась проектом, который определил ее жизнь на следующие несколько лет. Ранее она занималась робототехникой и зашла так далеко, что получила права на вождение вилочного погрузчика, чтобы лучше понимать атмосферу промышленной робототехники. Но в конце концов Бин решила, что ей это не совсем подходит. «Я поняла, что робототехника имеет связанные с оборудованием ограничения, – рассказывает она. – Мысли у меня летели так быстро, что физически я за ними не успевала» [288].
Постепенно Ким поняла, что интерпретируемость может стать темой диссертации, если не работой всей жизни. Впервые побывав на конференции NeurIPS в декабре того года, она поговорила со старшим коллегой. «Я сказала преподавателю, что работаю над интерпретируемостью, а он ответил что‐то вроде: „А зачем? Нейронные сети решат все проблемы! Почему вас это волнует?“, – вспоминает она с усмешкой. – И я объяснила. Представьте, что вы заходите в кабинет врача, а он заявляет, что собирается вас разрезать и удалить пару органов. Вы спросите зачем. А он скажет: „Я не знаю. Машина сказала, что это для вас лучший вариант. На 99,9 %“».
«Что бы вы на это ответили? – задала она риторический вопрос, на который все‐таки ждала ответа. – Что бы вы сказали врачу? У меня не было сомнений, что нам нужно в этом разобраться. Но я не была уверена, что люди скоро поймут, как это важно».
Дневное солнце проникает через окно конференц-зала в Google Brain, где Ким работает с 2017 года. «Кажется, время пришло».
Ким убеждена в том, что в объяснениях и интерпретациях есть нечто человеческое, и поэтому в них проявляется неупорядоченность и связь разных дисциплин. «Значительная часть этой задачи – все еще не исследованная – касается восприятия человеком, – говорит она. – Я всегда придавала особое значение взаимодействию человека с компьютером, науке о процессах познания… Без них нам не решить эту проблему». Понимать неизбежность человеческой стороны в интерпретируемости означает, что происходящее не всегда удается точно перевести на знакомый язык информатики.
«Некоторые люди думают, что для объяснения необходимо найти математическое определение. Я не считаю это осуществимым, – рассказывает Ким. – Компьютерные специалисты чувствуют себя неуютно – очень неуютно – из-за того, что не поддается вычислениям».
Практически в каждой научной статье Ким есть что‐то необычное для информатики, что‐то, находящееся за гранью науки о компьютерах: современные исследования, затрагивающие человеческие проблемы. «Организация цикла с пользователями критически важна, – говорит исследовательница. – Потому что, если единственная причина вашего существования – потребительство… мы должны доказать, что эта вещь хороша». Этот цикл жизненно важен, потому что часто то, что разработчики считают полезным для пользователей, таковым не является. Если вы разрабатываете интерпретации или интерпретируемые модели, которые будут использовать реальные люди, то процесс должен быть не менее циклическим, чем, скажем, разработка рабочего места летчика или пользовательского интерфейса программного обеспечения [289]. Не ставить эту эмпирическую обратную связь во главу процесса – вызывающая самонадеянность.
Подобные исследования усложняют использование простых моделей. Ким отмечает, что в конце концов все сводится к эмпирическому вопросу – можно ли этот подход к интерпретируемости назвать лучшим. «В очень немногих случаях, когда можно определить и эмпирически оценить, существует ли небольшой набор характерных особенностей, объяснимых в рамках отдельно взятой задачи, – в этих случаях можно записать то, что будет вразумительным для конкретной задачи, и оптимизировать это». Но реальные исследования, проведенные Ким и другими учеными, показывают, что на практике такие вещи редко столь прямолинейны.
Например, в 2017 году Джен Уортман Воган и ее коллеги по Microsoft Research изучали, как пользователи взаимодействуют с моделью машинного обучения, которая определяла стоимость домов и предсказывала их цену с помощью таких характеристик, как метраж, количество ванных комнат и т. д. Люди лучше угадывали прогнозы модели, когда она использовала меньше факторов и, таким образом, была более прозрачной для пользователя. Но ни простота, ни прозрачность не влияют на уровень доверия людей к модели. И в действительности они реже понимают, что модель сделала ошибку, если система более прозрачна [290].
Ким убеждена, что «люди думают и общаются с помощью понятий», а не цифр [291]. Мы взаимодействуем и, по большей части, думаем с помощью слов, эффективно используя понятия высокого уровня (речь не о необработанных сигналах сенсорного восприятия). По этой причине Ким думает, что многие методы, основанные на зрительном восприятии, не до конца справляются с задачей. Они с коллегами работают над тем, что называют тестированием с помощью векторов активации концептов (Concept Activation Vectors, TCAV). Этот способ использовать человеческие понятия, чтобы объяснить внутреннюю работу нейронных сетей.
Например, представим себе модель, правильно распознавшую изображение зебры. Предположим, TCAV показывает, что для своего прогноза нейросеть использовала понятия «полоски», «лошадь» и «саванна». Это вполне резонно. С другой стороны, нейронная сеть, несколько наивно обученная на фотографиях врачей – наборе с систематической ошибкой, – может предположить, что для этого прогноза имеет ценность понятие «мужской». TCAV это покажет и выдаст предупреждение о необходимости настроить модель или изменить данные для обучения, чтобы убрать это искажение [292].
Каким образом мы можем сделать такого рода открытия? На основе каждого изображения в нашей модели возникает не только метка категории, но и обширная схема внутренней деятельности нейронной сети по всем десяткам миллионов искусственных нейронов. Эти внутренние активности нетренированному
