Как отучить ИИ врать?

09:57 02.06.2026
Как отучить ИИ врать?

Ученые из красноярского Университета Решетнева решают проблему недостоверной информации, которую сообщает ИИ. Они создали методику, позволяющую избавить ответы нейросетей от недостоверных или выдуманных фактов.

Развитие искусственного интеллекта порождает много вопросов. Один из них в том, что нейросети научились врать. Например, в ответ на запрос оператора, ИИ часто сообщает недостоверные данные. Связано это с тем, что нейросети используют источники информации в интернете, а там может быть написано что угодно.

Ученые создали прототип модуля мониторинга, который работает в режиме реального времени. Модуль записывает в журнал все входящие запросы и контекст диалога, оценивает риск выдачи недостоверного ответа и присваивает той или иной модели ИИ балл уверенности. В случае ошибки или низкой уверенности модуль подает сигнал оператору.

Для  решения проблемы вранья нейросетей ученые используют RAG-системы (Retrieval-Augmented Generation) - генерация с дополненной выборкой). В их рамках для нейросетей создается "база знаний" - качественные, проверенные источники, среди которых ИИ и ищет ответ для оператора. Такой подход в целом снижает риск вранья от ИИ, однако ошибки все же могут случаться из-за опечаток, противоречий в запросе или неполноты базы данных, отмечают сами исследователи.

Фото сгенерировано нейросетью.

ВсеКонкурсы
Мамочка любимая моя! Мамочка любимая моя!
Праздники
1 июня - Международный день защиты детей 1 июня - Международный день защиты детей
Примета дня
Тимофей Грядочник: какие растения 2 июня сажали в огороде? Тимофей Грядочник: какие растения 2 июня сажали в огороде?
Полезные ресурсы