Что такое галлюцинация нейросети?

Галлюцинацией называют ответ, который звучит правдоподобно, но не опирается ни на какой источник: модель не проверяет факты, а достраивает наиболее вероятное продолжение текста, поэтому пробел в знаниях заполняется выдумкой того же формата, что и правда. Устаревшие данные тут отдельная история: там информация была верной, просто на другой момент времени. Отличить помогает простая привычка спрашивать, откуда взят факт, и проверять любые номера и ссылки отдельно, руками.

1. Модель предсказывает следующее слово, а не сверяется со справочником.
2. Там, где данных нет, она достраивает правдоподобное по форме.
3. На выходе уверенный, но выдуманный факт. Важно: это и есть галлюцинация.

а зачем вы вообще у нее факты спрашиваете. для текста норм, для справки открываешь первоисточник и все

Коллега неправ, но не совсем.

Галлюцинация — это когда модель выдаёт выдуманное как факт, причём с абсолютно каменным лицом. Не ошибка в данных, не устаревшая база. Именно сочинительство.

Почему так выходит:

Модель не хранит факты как справочник. Она хранит вероятности того, какое слово идёт следом. Вопрос про несуществующий закон или про книгу, которой нет, для неё выглядит ровно так же, как вопрос про реальные. Молчать её никто не учил, зато красиво продолжать текст учили годами. Вот она и продолжает.

Добавь сюда обучение с оценками живых людей. Асессор чаще ставил лайк уверенному развёрнутому ответу, чем честному «не знаю». Модель это считала. Уверенность натренирована, честность не очень.

Отдельная беда с деталями, которые выглядят проверяемыми: номера статей, ссылки, страницы, даты, фамилии соавторов. Формат модель воспроизводит идеально, а содержимое берёт из воздуха. Поэтому фейковая ссылка выглядит убедительнее настоящей и живёт в отчётах месяцами.

И да, устаревшая база — это другое. Там модель говорит правду, только вчерашнюю. Разница простая: устаревание лечится обновлением, галлюцинация обновлением не лечится вообще, потому что выдуманного не было ни вчера, ни сегодня, ни в одном источнике.

Практический вывод простой. Всё, что имеет номер, ссылку, дату или фамилию, проверяй руками, и чем увереннее звучит фраза, тем внимательнее смотри. Рассуждения, структура и формулировки обычно норм, потому что там и выдумывать нечего.