Insights · AI
Надёжные ответы рождаются из ваших источников, а не из догадок модели. Поиск, правила и человеческий контроль снижают риск.
Языковая модель, отвечая, не обращается к архиву: она генерирует наиболее вероятную последовательность слов в данном контексте. Когда вопрос касается информации, которой нет в её обучающих данных или которая изменилась после обучения, модель не останавливается и не говорит «не знаю». Она продолжает выдавать правдоподобный текст тем же уверенным тоном, каким дала бы правильный ответ. Это и есть механизм так называемых галлюцинаций: они не случайный сбой, который можно залатать, а естественное поведение инструмента, оптимизированного на беглость речи, а не на истину.
Худший риск — не очевидно неверный ответ, который видно сразу. Худший — ответ правдоподобный: ссылка на несуществующий нормативный акт, уверенно процитированный, но выдуманный пункт договора, дата или цифра, вставленная для завершения фразы. В деловом контексте это превращает полезный инструмент в источник операционного и репутационного риска. Просьба к модели «быть точной» ничего не решает, потому что у модели нет способа отличить то, что она помнит, от того, что она конструирует на ходу.
Прорыв не в выборе более крупной модели, а в изменении того, откуда берётся ответ. Вместо того чтобы позволять модели черпать из её статистической памяти, ей передают релевантный материал в момент вопроса и просят отвечать только на его основе. Модель перестаёт быть архивом и становится читателем, который обобщает. Это идея, лежащая в основе RAG, retrieval-augmented generation: сначала найти, потом сгенерировать.
Когда поступает вопрос, система не передаёт его сразу модели. Сначала она ищет в ваших документах — страницах, договорах, регламентах, карточках товаров — фрагменты, наиболее релевантные именно этому запросу. Эта фаза поиска — сердце механизма: если найден правильный материал, у ответа будет основание; если найден неточный материал или его нет, никакая модель этого не компенсирует. Качество поиска важнее мощности модели.
Только теперь в дело вступает модель, и она получает точную инструкцию: отвечай, используя исключительно предоставленные фрагменты; если информации нет, скажи об этом. Разница со свободным использованием разительна. Модели больше не нужно угадывать: ей нужно читать, отбирать и переформулировать то, что перед ней. Её языковой талант служит вашей документации, а не её воображению.
Серьёзный ответ указывает, откуда он взят. Каждое важное утверждение должно прослеживаться до фрагмента документа, из которого оно извлечено, чтобы человек мог проверить его за секунды. Цитирование — не косметическая деталь: именно оно делает ответ проверяемым. Без прослеживаемости даже правильный ответ остаётся актом веры; с прослеживаемостью он становится верифицируемым утверждением.
Система отвечает только из определённого и актуального набора документов — не из всего интернета и не из внутренней памяти модели. Сужение периметра источников — первый способ не дать ответам сползать к непроверенной информации.
Воздержание нужно предписывать и поощрять: когда источники не содержат ответа, система должна заявить об этом, а не заполнять пустоту. «Этого нет в доступных документах» стоит больше выдуманного ответа.
Когда политика меняется, обновляется документ — и ответ меняется вместе с ним, без вмешательства в модель. Это держит систему в согласии с текущей реальностью компании и сокращает ответы, основанные на устаревшей информации.
Каждый ответ несёт с собой ссылки на источники, чтобы читатель мог проверить их самостоятельно. Проверяемость превращает слепое доверие в осознанное и позволяет исправлять систему, когда она ошибается.
Доступ системы к корпоративным документам поднимает вопрос контроля: не всё, что можно найти, должно быть доступно каждому. Права того, кто задаёт вопрос, должны действовать и на этапе поиска. Сотрудник не должен иметь возможность получить через обобщённый ответ информацию, которую он не смог бы прочитать, открыв исходный документ. Управление доступом — не слой поверх системы: это часть системы.
Когда источники содержат персональные данные, принципы GDPR действуют как при любой другой обработке: правовое основание, минимизация, определённая цель, ограниченное хранение. Это значит осознанно решать, что попадает в доступный для поиска архив, а что нет, и с особой осторожностью обращаться с чувствительными категориями. Вопрос не только «хорошо ли отвечает система», но и «использует ли она данные, на которые имеет право, в целях, ради которых они были собраны».
Управляемая система оставляет след: какие источники были использованы, какой ответ был дан, когда. Это нужно для проверки, исправления и подтверждения соответствия, но и сам этот след требует регулирования, потому что журналы тоже могут содержать персональные данные и нуждаются в политике хранения. Зрелое управление не просто заставляет систему работать: оно определяет, кто за что отвечает и как долго информация остаётся доступной.
Прежде чем говорить о моделях, решают, к каким документам система может обращаться, кто их владелец и как часто они обновляются. Чёткий периметр — предпосылка любого надёжного ответа.
Проверяется, кто что может видеть и где находятся персональные данные; доступ системы выравнивается с реальным доступом людей, а принципы минимизации применяются уже на этапе проектирования.
Система настраивается так, чтобы отвечать только из найденного материала и заявлять об отсутствии информации, когда источников не хватает. Воздержание трактуется как правильный ответ, а не как провал.
Для случаев с наибольшими последствиями ответ системы — это черновик, который человек проверяет, прежде чем тот станет окончательным. Человеческий контроль не тормозит всё подряд: он сосредоточен там, где ошибка обошлась бы дороже всего.
Наблюдают за реальными ответами, проверяют цитаты, находят слабые места поиска и работают с источниками. Система улучшается за счёт обновления документов, а не погони за всё более крупными моделями.
Упорядоченный путь, а не выключатель, который щёлкают
Полностью ли RAG устраняет галлюцинации?
Нет, он существенно их сокращает, но не сводит к нулю. Привязка модели к вашим источникам сильно затрудняет выдумывание и делает каждый ответ проверяемым, но запас на ошибку остаётся: неточный поиск или натянутое обобщение всё ещё могут привести к неточностям. Поэтому важны человеческий контроль над критическими случаями и возможность проверять цитаты.
Нужно ли переобучать модель на наших данных?
Почти никогда, и это редко первое, что стоит делать. В большинстве случаев эффективнее и безопаснее предоставлять документы в момент вопроса: вы обновляете источник — и ответ меняется, без работы над моделью и без необратимого встраивания ваших данных. Это и более бережный к приватности подход, потому что данные остаются в источниках, которые вы контролируете.
Что будет, если документ ошибочен или устарел?
Система ответит согласно этому документу, потому что доверяет источникам, которые вы ей даёте. В этом и суть: качество ответов зависит от качества и свежести архива. Поэтому сопровождение источников — изъятие устаревшего, обновление меняющегося — неотъемлемая часть системы, а не факультативная задача.
Можем ли мы контролировать, кто видит какую информацию?
Да, и это требование, а не опция. Поиск должен учитывать права того, кто спрашивает: никто не должен получить через ответ то, что не смог бы прочитать напрямую. Вместе с минимизацией персональных данных и политикой хранения журналов именно это делает систему совместимой с GDPR и с вашими внутренними правилами.