Нейросети могут выдавать неверные факты, придумывать источники и создавать изображения с визуальными ошибками. При этом их ответы часто выглядят убедительно. Такие ошибки называют галлюцинациями ИИ. Разберемся, почему они возникают, чем опасны и как снизить их вероятность.
Что такое галлюцинации ИИ
Галлюцинации ИИ — это случаи, когда нейросеть генерирует недостоверную, выдуманную или не соответствующую запросу информацию и представляет ее как верную.
Например, модель может назвать несуществующую научную статью, перепутать даты, привести ошибочные цифры или сослаться на судебное решение, которого никогда не было. Чем убедительнее выглядит ответ, тем сложнее заметить ошибку без дополнительной проверки.
Даже если нейросеть предупреждает о возможных неточностях, пользователь должен проверять важные факты самостоятельно. Особенно это касается профессиональных задач, где ошибка может привести к финансовым потерям, юридическим последствиям или рискам для здоровья.
Почему нейросети галлюцинируют

Большие языковые модели (LLM), на которых работают многие чат-боты, генерируют текст на основе закономерностей, выявленных при обучении. Они не проверяют каждое утверждение на соответствие действительности автоматически.
Есть несколько распространенных причин галлюцинаций.
Недостаток данных. Если модель не располагает нужной информацией, она может попытаться восстановить ответ по знакомым закономерностям и ошибиться.
Устаревшие сведения. Модель может не знать о событиях, которые произошли после ее обучения. Если у нее нет доступа к актуальным источникам, она рискует дать ответ на основе старых данных.
Неоднозначный запрос. Если пользователь не уточнил контекст или критерии ответа, модель может неверно интерпретировать задачу и заполнить пробелы предположениями.
Особенности генерации. Модель подбирает продолжение текста с учетом изученных закономерностей и настроек генерации. Это не гарантирует фактическую точность: убедительная формулировка может содержать ошибку.
Какие бывают виды галлюцинаций
Галлюцинации ИИ проявляются по-разному. Понимание их типов помогает быстрее находить ошибки и выбирать подходящий способ проверки.
Выдуманные факты и цифры
Нейросеть может ошибаться в датах, числах, именах, характеристиках продуктов и описаниях событий. Иногда она смешивает сведения из разных источников или дополняет неполные данные вымышленными деталями.
Отдельный риск возникает, когда модель не распознает сатиру или иронию и воспринимает шуточную публикацию как достоверный источник. Например, в 2024 году пользователи обнаружили, что AI Overviews — функция поиска Google с ответами, сгенерированными ИИ, — выдавала абсурдные рекомендации, в том числе советовала добавлять к пицце клей. Часть подобных рекомендаций связывали с сатирическими публикациями.
Нейросеть может также неверно выполнять расчеты или приводить цифры без подтверждения. Поэтому числовые данные нужно проверять отдельно, особенно если от них зависят деловые решения.
Несуществующие источники и ссылки
Нейросеть может придумать название статьи, автора, научную публикацию или судебное дело. Иногда ссылка выглядит правдоподобно, но ведет на другую страницу или вообще не открывается.
Известный пример произошел в США в 2023 году. Адвокат Стивен Шварц использовал ChatGPT при подготовке судебного документа и включил в него ссылки на несуществующие судебные решения. Суд назначил ему и другому адвокату штраф в размере 5 000 долларов.
Этот случай показывает, почему недостаточно попросить нейросеть привести источники. Нужно открыть каждую ссылку и убедиться, что источник существует и действительно подтверждает утверждение.
Есть и обратная проблема: модель может не предоставить нужную информацию, неверно сообщить, что данных нет, или выдать устаревший ответ. Особенно это заметно при работе с недавними событиями, если у модели нет доступа к актуальным источникам.
Искажения в изображениях
Генеративные модели могут создавать изображения с визуальными ошибками: лишними или неправильно расположенными пальцами, несогласованными тенями, искаженными объектами и нечитаемым текстом.
Такие артефакты связаны с особенностями генерации изображений. Модель формирует результат на основе закономерностей, усвоенных при обучении, а не человеческого понимания того, как устроены объекты в реальном мире.
Некоторые художники и фотографы также используют специальные методы защиты своих работ от нежелательного использования при обучении моделей. Например, инструменты вроде Nightshade вносят в изображения изменения, которые могут влиять на результаты обучения генеративных моделей. Однако такие методы не гарантируют полной защиты авторских прав или изображений от использования.
Чем опасны галлюцинации ИИ
В профессиональной и образовательной деятельности галлюцинации ИИ могут привести к серьезным последствиям.
Выдуманные юридические прецеденты способны повредить репутации адвоката и повлечь санкции со стороны суда. Ошибочные расчеты и недостоверные данные могут привести к финансовым потерям бизнеса. Медицинские рекомендации, которые не соответствуют действительности, создают риски для здоровья и могут повлечь юридические последствия, если на них полагаются при лечении.
В образовании галлюцинации ИИ несут практические и этические риски. Если ученики и студенты без проверки используют ответы нейросети в заданиях и эссе, они могут получить низкие оценки и усвоить неверную информацию. А если полностью поручают ИИ выполнение заданий, у них остается меньше возможностей самостоятельно освоить материал и развить необходимые навыки.
Мэр Нью-Йорка Зохран Мамдани предложил на год ограничить использование генеративного ИИ учениками младших и средних классов. Инициатива направлена на то, чтобы дети учились самостоятельно, развивали критическое мышление и другие базовые навыки. Ограничения коснулись и учителей: им запрещено использовать нейросети для проверки и оценки ученических работ.

Как снизить галлюцинации на практике: инструменты и подходы
Полностью исключить галлюцинации ИИ нельзя, но можно снизить вероятность ошибок. Для этого важно правильно формулировать запросы, ограничивать источники и проверять результаты.
Точные и структурированные промпты
Чем яснее сформулирована задача, тем проще нейросети понять, какой результат от нее требуется. Указывайте контекст, описывайте нужный формат ответа и перечисляйте ограничения. Если работаете с изображениями, уточняйте детали и при необходимости добавляйте референсы.
Полезно прямо указать в промпте, что при нехватке данных нейросеть должна сообщить об этом, а не додумывать ответ. Можно также обозначить профессиональную роль, например CRM-специалиста или аналитика. Это помогает задать контекст задачи, но не гарантирует экспертной точности ответа.
Для снижения фактических ошибок используют и метод RAG (Retrieval-Augmented Generation, генерация с дополнением извлеченной информацией). Он позволяет модели обращаться к конкретным базам знаний и использовать найденные материалы при подготовке ответа. Результат зависит от качества источников и того, насколько точно система находит нужную информацию.
Пример промпта:
«Ты — CRM-специалист. Проанализируй таблицу с показателями за последние шесть месяцев и укажи зоны снижения эффективности. Если данных не хватает, сообщи об этом. Не додумывай значения и используй только информацию из таблицы».
Запрос источников и ограничение диапазона
Просите нейросеть указывать источники для фактических утверждений. Это поможет проверить информацию самостоятельно. При этом важно открывать ссылки и убеждаться, что они ведут на реальные материалы, которые подтверждают конкретные выводы.
Также ограничивайте временной диапазон и круг источников. Например, при анализе рынка укажите, за какой период нужно собрать данные и какие источники использовать. Это поможет избежать нерелевантных сведений и снизит риск ошибок, связанных с устаревшей информацией.
Проверка фактов и валидация ответов
Проверка сгенерированной информации — один из основных способов снизить риск галлюцинаций. Не считайте нейросеть безошибочным источником: перед использованием ответа проверьте факты, цифры, даты и ссылки.
Для важных задач сверяйте информацию с первоисточниками: официальными документами, научными публикациями и данными профильных организаций.
Дополнительно можно попросить другую нейросеть проверить ответ по заданным критериям. Однако модели могут допускать одинаковые ошибки, поэтому такая проверка не заменяет обращение к первоисточникам.
Для повторяющихся задач можно настроить автоматическую проверку ссылок с помощью скриптов. Это поможет определить, открываются ли страницы, но не подтвердит достоверность информации на них.
Дообучение
Если нейросеть регулярно ошибается в однотипных задачах, можно корректировать инструкции, настраивать доступ к источникам или дообучать модель на подходящих примерах. Выбор метода зависит от задачи и причин ошибок.
Для многих повседневных задач достаточно уточнить промпт и предоставить качественные исходные данные. Для специализированных решений может потребоваться настройка модели или подключение базы знаний. Ни один из этих подходов не гарантирует полного отсутствия галлюцинаций.
Частые вопросы о галлюцинациях ИИ
Что такое галлюцинации ИИ
Галлюцинации ИИ — это ошибочная или выдуманная информация, которую нейросеть выдает как достоверную. Например, она может придумать факты, перепутать цифры или ссылаться на несуществующий источник.
Можно ли полностью избавиться от галлюцинаций ИИ
Нет, полностью исключить галлюцинации пока нельзя. Они связаны с особенностями работы генеративных моделей. Точные промпты, качественные источники и проверка ответов помогают снизить риск ошибок, но не гарантируют точность каждого результата.
Что рекомендуется делать для снижения галлюцинаций нейросети
Формулируйте конкретные запросы, указывайте источники и ограничения, просите отмечать нехватку данных и проверяйте факты по первоисточникам. Для профессиональных задач также можно использовать RAG и автоматическую проверку отдельных элементов ответа.
Научиться применять нейросети в разных профессиях можно на специализированных курсах ProductStar. Важно не только уметь составлять промпты, но и проверять результаты работы ИИ.













