Как сделан chatgpt?

Порядок сборки, укрупнённо:

• Данные. Собирается корпус из текстов интернета, книг, кода и другого материала, затем чистится от мусора и дублей.
• Токенизация. Текст режется не на слова, а на кусочки-токены, с которыми модель и работает.
• Архитектура. Основа это трансформер с механизмом внимания: при генерации каждого следующего токена он оглядывается на весь предыдущий контекст.
• Предобучение. Модель миллиарды раз предсказывает следующий токен и правит свои веса, когда ошибается. Именно этот этап требует огромных вычислений.
• Дообучение на диалогах. Люди пишут примеры правильных ответов, и модель учится отвечать в формате беседы, а не продолжать текст.
• Обучение с обратной связью. Оценки людей превращаются в модель вознаграждения, по которой основную модель подтягивают к полезным и безопасным ответам.
• Обвязка. Поверх готовой модели навешивают фильтры, инструменты, поиск и интерфейс, который вы и видите.

Если совсем сжато, порядок такой: собирают гигантский корпус текста, обучают трансформер предсказывать следующий токен, а потом дообучают его на примерах хороших диалогов и на человеческих оценках ответов, чтобы он отвечал полезно и не хамил. Повторить это на ноуте мешает не секретность, а масштаб: предобучение базовой модели это тысячи ускорителей и месяцы счёта.