Искусственный интеллект. Краткая история будущего - Тоби Уолш

2018 года и называлась GPT–1. Нейронная сеть имела 117 миллионов весов (или, как они часто называются, параметров), что в свое время считалось довольно-таки огромным значением, а сейчас небольшим. GPT–1 тренировали на Toronto Book Corpus, наборе данных, содержащего тексты примерно из 7000 самостоятельно изданных книг, взятых из интернета. Несмотря на то что производительность GPT–1 была ограничена, это показало, что разработка таких крупных моделей, созданных Google, открывала новые возможности.

Toronto Book Corpus – один из нескольких наборов данных, взятых из интернета, используемых для обучения моделей искусственного интеллекта и не вызвавших публичные жалобы со стороны владельцев защищенных авторским правом данных. Тем не менее самиздат-авторы являются представителями особой группы. Множество других писателей открыто жаловались на то, что их работы используются без их согласия или вознаграждений, и я в их числе, так как мои книги были включены в программу обучения для GPT–3. На это есть причина, почему OpenAI наравне с другими технокомпаниями использовала научно-популярную литературу вроде моей для тренировки своих больших языковых моделей. Если вы хотите, чтобы чат-бот умел отвечать на вопросы обо всем, начиная с искусственного интеллекта и заканчивая зоологией, вам нужно обучать его на основе актуальных данных, содержащих информацию обо всем, начиная с искусственного интеллекта и заканчивая зоологией.

Вдохновленная многообещающими результатами, OpenAI решила идти дальше. Вторая модель из семейства GPT под названием GPT–2 вышла в феврале 2019 года. Она значительно превосходила GPT–1, обладая 1,5 миллиарда параметров, и была обучена на наборе данных из восьми миллионов веб-страниц, что также более чем на порядок больше, чем набор данных, используемый GPT–1. GPT–2 работала значительно лучше, чем предыдущая модель.

Теперь масштаб стал главной задачей OpenAI. Дебют третьей модели GPT–3 состоялся в июне 2020 года. Третья модель была уже разительно лучше второй, с 175 миллиардами параметров, и обучена на 500 миллиардах токенов, взятых из интернета. Тренировочные данные включали Википедию, Reddit, а также содержали тысячи книг, защищенных авторским правом. Объем набора данных составлял около 45 терабайт, что в 500 раз больше, чем использовалось для обучения GPT–2. На обучение GPT–3 было затрачено около пяти миллионов долларов. Производительность GPT–3 удивила и вдохновила многих специалистов в этой области.

Четвертая модель GPT–4 была запущена в марте 2023 года. По коммерческим причинам OpenAI больше не рассказывает о деталях, поэтому размеры и масштабы модели точно неизвестны. Единственное, что OpenAI не стала скрывать, так это название. Считается, что GPT–4 обладает около 1,76 триллиона параметров и обучена на 13 триллионах токенов. В одном из интервью Альтман заявил, что стоимость обучения GPT–4 превысила 100 миллионов долларов.

Вместе с тем, как GPT модели становятся больше, улучшается и их производительность. Необычный факт в области искусственного интеллекта – ведь мы привыкли, что комбинаторные тупики для нас привычное дело. Мы привыкли увеличивать масштаб проблем, а не решать их. В рамках обобщенной оценки понимания языка (GLUE)[72], учитывающей широкий спектр языковых задач, таких как семантическое сравнение предложений, анализ эмоциональной окраски текста и построение систем вопросов и ответов, результат модели GPT–1 составил 70%. Масштабирование помогло, и результат GPT–2 уже составил 80%, а GPT–3 достиг впечатляющих 89%. Что еще более впечатляюще, так это то, что большие GPT модели умели выполнять задания, которым они не были специально обучены, например резюмировать текст, написать компьютерный код и сделать перевод с одного языка на другой.

Аббревиатура GPT расшифровывается следующим образом: Генеративный (Generative) Предобученный (Pre-trained) Трансформер (Transformer). Не совсем красивое название. Генеративный означает, что модель способна генерировать текст. Предобученный означает, что модель предварительно обучена без какой-либо конкретной цели, кроме как обнаружения особенностей в обучающих данных. В таком случае она развивает общее понимание языка, а затем настраивается для выполнения конкретных задач, таких как ответы на вопросы, перевод текста или окончание предложений. Трансформер из-за того, что модель имеет архитектуру трансформера.

Думаю, что компания OpenAI остановилась на названии GPT, чтобы напомнить нам о своих попытках создать технологии общего пользования (general-purpose technology). Технический термин «технологии общего пользования» пришел из экономики, где используется для описания технологий, влияющих на экономику в целом с различными экономическими и социальными последствиями. Примером могут служить такие изобретения, как паровой двигатель и электричество. Следовательно, GPT должен напоминать вам, что OpenAI стремится к общему искусственному интеллекту, тому, что соответствует человеческому во всех его возможностях. Многие исследователи OpenAI и области искусственного интеллекта в целом считают, что общий искусственный интеллект будет достигнут путем простого масштабирования больших моделей GPT. Будет ли это достигнуто на модели GPT–5[73] или GPT–15, остается неясным, но какая бы модель ни была, я кратко выскажусь о том, почему все эти люди могут ошибаться.

В ноябре 2022 года OpenAI сделала гениальный шаг и разработала чат-бот ChatGPT, ставший лучшим в семье GPT. Название ChatGPT в переводе означает «общение с GPT». Модель стала улучшенной версией GPT–3, способной отвечать на вопросы пользователей. Пока GPT–3 обсуждали в научных кругах, ChatGPT завоевала сердца миллионов, став самым быстрорастущим приложением в истории. Только за первую неделю число пользователей уже насчитывало миллион, а за два месяца выросло до 100 миллионов. Спустя год после запуска модель ChatGPT стала доступна более чем миллиарду человек, включая возможности использования через поисковик Bing от Microsoft, а также WhatsApp, Skype и Snapchat.

Финансово ChatGPT тоже преуспел. Рыночная стоимость компании OpenAI увеличилась в 100 раз и составила около 100 миллиардов долларов, а ее ежегодная прибыль насчитывает более миллиарда долларов. За все время существования капитализма еще не было столь стремительного обогащения. Даже необычная модель прибыли, ограничивающая доход инвесторов стократной отдачей, не помешала компании добиться финансового успеха.

Для создания ChatGPT команда OpenAI разработала новый способ обучения с подкреплением для точной настройки GPT моделей. В следующей главе мы разберем подробнее, и я поведаю больше деталей о таком типе обучения. В результате разработки получили языковую модель, нацеленную на любые задачи, поставленные пользователем. Завершающая часть создала нейронную сеть, которая захватила интерес общественности.

Ранее я уже приводил несколько примеров взаимодействия с ChatGPT, но позвольте мне показать еще некоторые его замечательные способности.

Я: Напиши сонет об истории искусственного интеллекта в стиле Уильяма Шекспира.

CHATGPT:

Минувших дней умы, наполненные дивом,

Сподвигли на создание машины,

Посеяли зерно, чтобы предстал пред миром

Мышления искусственного плод.

С былых времен мечтая о расцвете,

В преданиях и сказах определенно

В железе воплощение ума людского

Рукой математической на схеме будет создано.

Учет канонов вычислений

Дало продвинутым системам рост,

В эпоху