Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан
К 1973 году и американское, и британское правительства отозвали финансовую поддержку исследований нейронных сетей. Когда молодой английский студент-психолог по имени Джеффри Хинтон заявлял, что хочет писать докторскую диссертацию по нейросетям, он снова и снова получал один и тот же ответ: «Минский и Пейперт доказали, что от этих моделей нет никакой пользы» [37].
История ALEXNET
Это произошло в 2012 году в Торонто. В спальне Алекса Крижевского было слишком жарко, чтобы уснуть. Его компьютер, соединенный с двумя графическими процессорами Nvidia GTX 580, работал днем и ночью с максимальной нагрузкой, вентиляторы разгоняли горячий воздух уже целых две недели.
– Было очень жарко, – рассказывает Крижевский, – и громко [38].
Он учил машину видеть.
Джеффри Хинтону, научному руководителю Крижевского, исполнилось 64 года, и он не собирался сдаваться. У него была причина надеяться на лучшее.
В 1980‐е годы стало понятно, что многослойные сети (так называемые «глубокие» нейронные сети) в самом деле можно натренировать на примерах так же, как перцептрон [39]. «Теперь я полагаю, – признал Минский, – что с книгой несколько переборщил» [40].
В конце 1980‐х и начале 1990‐х бывший научный сотрудник Хинтона по имени Ян Лекун, работавший в Bell Labs, научил нейронную сеть распознавать написанные от руки цифры от 0 до 9. Так нейросети впервые получили широкое коммерческое использование: чтение индексов в почтовых отделениях и депозитных чеков в банкоматах [41]. К началу 1990‐х нейросети Лекуна обрабатывали 10–20 % всех чеков в Соединенных Штатах [42].
Но развитие отрасли вновь достигло плато, и к 2000‐м исследователи по большей части так и колдовали над базами данных написанных от руки почтовых индексов. Никто еще не понял, что достаточно большая нейросеть при наличии значительного количества данных и времени может научиться практически чему угодно [43]. Но ни у кого не было достаточно быстрых компьютеров, достаточного количество данных для обучения и достаточно терпения, чтобы извлечь выгоду из этой теоретической возможности. Многие теряли интерес, и те, кто занимался компьютерным зрением или вычислительной лингвистикой, переключались на другие вещи. Как позднее говорил Хинтон, «наши маркированные наборы данных были в тысячи раз меньше, чем надо. А компьютеры – в миллионы раз медленнее» [44]. Тем не менее и то, и другое изменилось.
Интернет развивался, и, если вам было нужно не пятьдесят, а пятьсот тысяч «дидактических карточек», вы неожиданно получали доступ к практически бездонному хранилищу изображений. Была лишь одна проблема: на них обычно не стояла метка категории. Нельзя обучать нейросеть, не зная, что предполагается на выходе.
В 2005 году компания Amazon запустила сервис Mechanical Turk, дающий возможность в больших масштабах использовать наемный человеческий труд, что позволило нанять тысячи людей, выполняющих простые действия «по пенни за клик». (Сервис был особенно хорошо приспособлен для вещей, которые будущие ИИ, как предполагалось, смогут делать, поэтому подзаголовком сайта и стало выражение «искусственный искусственный интеллект»). В 2007 году профессор Принстона Фей-Фей Ли использовала Amazon Mechanical Turk, чтобы нанимать исполнителей в масштабах, ранее считавшихся немыслимыми, и создала такой набор данных, какой прежде был просто невозможен. На эту работу ушло более двух лет, в набор данных вошло три миллиона изображений, каждое из которых было промаркировано человеком по более чем пяти тысячам категорий. Ли назвала свое детище ImageNet и выпустила его в 2009 году. Отрасль компьютерного зрения неожиданно получила огромный набор данных для обучения – и новые большие трудные задачи. Начиная с 2010 года, команды со всего мира начали соревнование по созданию системы, которая сумеет взглянуть на изображение – пылевого клеща, грузового корабля, мотороллера, леопарда – и уверенно заявить, что это такое.
Тем временем достаточно устойчивое развитие техники в соответствии с законом Мура [45] в 2000‐е годы означало, что теперь компьютеры могут делать за считанные минуты то, на что у компьютеров 1980‐х уходили часы и дни. Но жизненно важным оказалось еще одно изобретение. В 1990‐е годы индустрия видеоигр начала производить графические процессоры (GPU), разработанные для рендеринга сложных трехмерных изображений в реальном времени. Вместо того чтобы одну за другой выполнять инструкции с идеальной точностью, как это делает традиционный CPU, эти устройства производили множество простых и иногда приблизительных вычислений одновременно [46]. Уже позднее, в середине 2000‐х, стало ясно, что графические процессоры могут делать гораздо больше, чем просто отображать свет, текстуры и тени [47]. Выяснилось, что эти комплектующие, разработанные для компьютерных игр, словно изготовлены на заказ для обучения нейронных сетей.
В университете Торонто Алекс Крижевский прошел курс по написанию кода для графических процессоров и решил опробовать их с нейронными сетями. Он взялся за распознавание изображений из популярного тестового набора CIFAR‐10, который содержал миниатюрные картинки одной из десяти категорий: самолет, автомобиль, птица, кошка, олень, собака, лягушка, лошадь, корабль или грузовик. Крижевский создал нейросеть и начал учить ее распределять по категориям изображения из CIFAR‐10 с помощью графического процессора. Как ни поразительно, но он смог натренировать ее со случайно выбранной начальной конфигурации до идеальной точности. За восемьдесят секунд [48].
В то же время коллега Крижевского по лаборатории Илья Суцкевер заметил попытки Алекса и предложил сделать то, что прозвучало как сладкозвучная песня сирены. «Держу пари, – сказал Суцкевер, – ты сможешь заставить ее работать на ImageNet».
Они создали гигантскую нейронную сеть: шестьсот пятьдесят тысяч искусственных нейронов, расположенных на восьми слоях и связанных шестьюдесятью миллионами настраиваемых весовых связей. В своей спальне в родительском доме Крижевский начал показывать ей картинки.
Шаг за шагом, мало-помалу система становилась на несколько процентов точнее.
Набора данных, каким бы большим он ни был (несколько миллионов изображений), было недостаточно. Но Крижевский понял, как это обойти. Он начал делать «раздутие данных» – показывать зеркально отраженные, слегка обрезанные или затемненные изображения. (Кошка, в конце концов, остается кошкой, даже если вы наклоните голову или смените естественное освещение на искусственное.) Кажется, это помогло.
Крижевский перебирал разные варианты архитектуры – то или иное количество слоев, – более-менее вслепую нащупывая, какая конфигурация сработает лучше.
Иногда Алекс терял веру в успех. С Суцкевером этого никогда не случалось. Снова и снова он воодушевлял
