Поставьте задачу поиска до выбора модели
Начните с вопросов, которые сотрудник не может быстро решить. Где найти правило согласования? Какая инструкция относится к текущему продукту? Какой документ объясняет исключение? Система полезна, когда сокращает путь к проверяемому знанию.
Разделите поиск ответа и выполнение действия. Помощник по регламентам может лишь находить информацию. Сервис, который меняет запись или запускает процесс, требует другой модели доступа и подтверждения. Не расширяйте полномочия только потому, что языковая модель умеет формулировать уверенный текст.
Подготовьте корпус с версией и владельцем
Документу нужны название, источник, дата или версия, владелец и правила доступа. Из файлов извлекается текст, который разделяется на фрагменты. При этом важно сохранить связь фрагмента с разделом и исходным документом, чтобы ответ можно было проверить.
Проверьте таблицы, сканы, повторяющиеся заголовки и устаревшие версии. Качество поиска зависит не только от модели, но и от качества материала. Если два документа противоречат друг другу, нужен способ выбрать действующий источник или явно показать неопределённость.
Оцените поиск отдельно от формулировки ответа
RAG сначала находит подходящие фрагменты, затем использует их при подготовке ответа. Ошибка на первом этапе может привести к красивому ответу по неверному документу. Поэтому измеряйте, найден ли нужный источник, до оценки качества текста.
Векторный поиск помогает находить близкие по смыслу фрагменты. Точные номера, артикулы и специальные термины могут требовать другого или комбинированного поиска. Выбор способа подтверждается контрольными вопросами, а не названием популярной технологии.
Подготовьте контрольный набор вопросов
Возьмите реальные вопросы разных групп пользователей. Для каждого укажите ожидаемый источник, обязательные сведения и допустимое поведение. Добавьте вопросы, на которые в корпусе нет ответа, а также вопросы по документам, недоступным конкретной роли.
Не используйте только примеры, которые уже успешно прошли демонстрацию. После изменения фрагментации, индекса или модели повторяйте одинаковый набор. Это позволяет видеть улучшения и ухудшения без субъективного впечатления от одного разговора.
Проверяйте доступ до подготовки ответа
Данные, недоступные пользователю, не должны попадать в набор контекста для его ответа. Одного скрытия ссылки недостаточно: сведения могут быть уже пересказаны. Правила доступа должны согласованно работать при поиске, чтении источника и обновлении корпуса.
Проверяйте смену роли и удаление документа. Система должна исключить старые фрагменты и не продолжать показывать сведения после отзыва доступа. Инструкции внутри документа рассматриваются как содержимое источника, а не как полномочие изменить поведение сервиса.
Запускайте пилот с обратной связью
Ограничьте корпус и аудиторию, укажите назначение помощника и способ открыть источник. Пользователю полезно видеть, чего система не нашла. Для ошибки дайте возможность отметить проблему и сообщить, какой ответ ожидался.
На результат влияют качество источников, поиск, формирование ответа, задержка и стоимость обработки. Разбирайте неудачные вопросы по этим причинам. Расширение знаний и функций оправдано после того, как пилот подтверждает полезность на выбранном процессе.
Оцените поиск и подтверждение ответа отдельно.
Что проверить перед следующим шагом
- Оцените поиск и подтверждение ответа отдельно.
- Подготовьте реальные вопросы и ожидаемые источники.
- Проверьте отсутствие ответа и противоречивые версии.
- Учитывайте права до формирования контекста.
- Проверяйте удаление документа и отзыв доступа.
- Расширяйте пилот после анализа конкретных ошибок.
Материал PENROUZ · 13 октября 2026. Практические рекомендации изложены для планирования проекта.
Как мы готовим материалы ↗Разработка RAG-поиска по корпоративным документам
Создаём поиск и ИИ-помощников по документам компании. Ответы связываем с источниками, правами пользователя и проверкой качества на ваших вопросах.
Посмотреть состав решения ↗