Как работает chatgpt?

он не в интернете сидит, у него данные до какого то года и всё. я про новости прошлой недели спрашивал, он мне их просто выдумал

Разберу по этапам, что происходит между вашим вопросом и ответом на экране.

1. Текст разбивается на токены, куски слов, каждому из которых сопоставлено число
2. Числа проходят через нейросеть с многими миллиардами параметров, обученную на огромном массиве текстов предсказывать следующий токен
3. На выходе получается распределение вероятностей, из которого выбирается один из вероятных вариантов, поэтому ответы на один и тот же вопрос каждый раз немного разные
4. Шаг повторяется, пока не наберётся весь ответ, и на каждом шаге модель видит и ваш вопрос, и то, что уже успела написать
5. Поверх базового обучения идёт дообучение на человеческих оценках, оно отвечает за формат ответа, вежливость и отказы

Важно: отдельной базы фактов внутри нет, знания размазаны по весам. Отсюда главная беда, уверенные ошибки в мелких деталях. В интернет модель ходит только при включённом поиске, в остальное время опирается на то, что усвоила при обучении, а данные там обрываются на определённой дате.

Коротко: это предсказание следующего слова, доведённое до огромного масштаба.

Почему так: готовых ответов внутри нет, знания хранятся в весах модели, а в интернет она заходит только тогда, когда включён поиск.