Рождённые лгать: галлюцинации ИИ оказались вовсе не багом — исследование, которое шокировало мир

Склонность современных языковых моделей придумывать факты давно вызывает обеспокоенность. Новое исследование специалистов OpenAI и Georgia Tech показало: это не случайная ошибка, а закономерность, заложенная в сам процесс обучения искусственного интеллекта. "Галлюцинации" моделей — не сбой программы, а следствие того, как устроены этапы предобучения и дообучения.

Почему модели "выдумывают" факты

Любая крупная языковая модель, будь то GPT, Llama или DeepSeek, обучается на колоссальном массиве текстов. Алгоритм учится предсказывать слова и формулировать ответы, исходя из распределения языка. Даже если все обучающие данные безупречно точны, статистические закономерности ведут к тому, что редкие факты "размываются". Например, дата рождения малоизвестного писателя встречается один раз в корпусе, и модель с высокой вероятностью заменит её на другую — но звучащую правдоподобно. Этот эффект исследователи сравнивают с оценкой "недостающей массы" Тьюринга-Гуда.

Почему дообучение не решает проблему

Следующий этап — дообучение, включая RLHF (обучение с подкреплением через обратную связь человека). Оно должно повысить точность и безопасность. Но здесь вмешивается система оценки. Большинство бенчмарков (MMLU, GPQA, SWE-bench и др.) оценивают ответы бинарно: 1 — правильно, 0 — неверно. Формулировки вроде "Я не знаю" почти всегда приравнены к нулю. В итоге оптимальная стратегия для модели — всегда угадывать, а не признавать сомнения.

"Даже случайное предположение выглядит выгоднее, чем честное 'не знаю'", — отмечают авторы исследования.

Таким образом, сама система оценки стимулирует генерацию уверенных, но часто ложных ответов.

Сравнение подходов

Советы шаг за шагом: как снизить риск столкновения с "галлюцинациями" ИИ

1. Не воспринимайте ответы ИИ как абсолютную истину — всегда проверяйте важные факты в независимых источниках (новостные сайты, энциклопедии, официальные страницы компаний или госструктур).
2. Используйте несколько сервисов. Если один чат-бот не даёт уверенности, попробуйте спросить то же в другой системе.
3. При вопросах о здоровье, финансах или юридических темах консультируйтесь со специалистами, а ИИ используйте только как вспомогательный инструмент.
4. Если в ответе встречаются редкие имена, даты или цифры — перепроверьте их отдельно в поисковике.
5. Сохраняйте критическое мышление: ИИ может помочь быстрее найти информацию, но решение всегда остаётся за человеком.

Ошибка — Последствие — Альтернатива

• Ошибка: модель всегда стремится дать ответ.
• Последствие: рост числа "галлюцинаций" и потеря доверия пользователей.
• Альтернатива: явное внедрение шкалы уверенности, где "не знаю" не наказывается.

А что если…

Что произойдет, если изменить систему оценивания? Допустим, за правильный ответ начисляется +1 балл, за "не знаю" — 0, а за ошибку — минус 9. В такой ситуации модель будет осторожнее. Она станет "молчать", когда уверенность низкая, и пользователи получат меньше выдуманных фактов.

Плюсы и минусы подхода с порогами уверенности

FAQ

Как выбрать надежный ИИ-сервис?
Ориентируйтесь на тех разработчиков, которые внедряют механизмы проверки уверенности и открыто говорят о границах возможностей модели.

Сколько стоит внедрение улучшенной системы оценки?
Стоимость зависит от объема данных и вычислительных ресурсов. Однако долгосрочно затраты оправданы — меньше ошибок повышает доверие пользователей.

Что лучше: модель, всегда отвечающая, или та, что признается в незнании?
В прикладных задачах безопаснее второй вариант: честное "не знаю" лучше, чем убедительная выдумка.

Мифы и правда

• Миф: галлюцинации — это баг.
• Правда: это закономерность, заложенная в сам принцип обучения.
• Миф: достаточно дообучить модель, и проблема исчезнет.
• Правда: без изменения системы оценки ошибка сохранится.

3 интересных факта

1. Только один из популярных бенчмарков (WildBench) частично учитывает выражение неуверенности.
2. Системы ИИ чаще "забывают" редкие факты, чем массовые и общеизвестные.
3. Галлюцинации наблюдаются у всех крупных моделей, независимо от архитектуры.

Исторический контекст

Еще в середине XX века исследователи математики и статистики обсуждали проблему "недостающей массы". Работы Тьюринга и Гуда показали, что в больших выборках редкие события всегда имеют риск быть проигнорированными. Сегодня эти же идеи находят отражение в работе языковых моделей.

Таким образом, искусственный интеллект остаётся мощным помощником, но его ценность раскрывается только в связке с нашим вниманием и способностью проверять данные. Чем ответственнее мы будем использовать такие технологии, тем надёжнее они станут для всех.