사내 지식 RAG는 구축보다 운영이 더 중요하다

사내 지식 RAG는 많은 기업이 가장 먼저 시도하는 AI 프로젝트입니다. 매뉴얼, 정책, 회의록, FAQ, 기술 문서를 AI가 검색하고 답변하게 만들면 업무 효율이 크게 오를 것처럼 보입니다. 하지만 실제로는 구축보다 운영이 더 어렵습니다. 문서는 계속 바뀌고, 권한은 복잡하며, 오래된 정보와 최신 정보가 섞이기 때문입니다.

RAG의 품질은 임베딩 모델이나 벡터 DB만으로 결정되지 않습니다. 어떤 문서를 넣을지, 어떻게 쪼갤지, 누가 업데이트할지, 잘못된 답변을 어떻게 수정할지가 더 중요합니다. 사내 지식 RAG는 검색 시스템이 아니라 지식 운영 시스템입니다.

좋은 문서만 넣어야 한다

RAG는 문서를 많이 넣는다고 좋아지지 않습니다. 오래된 문서, 중복 문서, 책임자가 없는 문서가 많아지면 검색 결과가 오히려 나빠집니다. 특히 사내 문서는 같은 주제를 여러 버전으로 다루는 경우가 많습니다.

문서를 넣기 전 다음 기준으로 정리해야 합니다.

• 최신 문서인가
• 책임자가 정해져 있는가
• 적용 범위가 명확한가
• 중복 문서가 없는가
• 민감 정보가 포함되어 있지 않은가
• 사용자가 실제로 자주 찾는 내용인가

처음부터 전사 문서를 모두 넣기보다, 고객지원 매뉴얼이나 영업 FAQ처럼 쓰임이 분명한 영역부터 시작하는 것이 좋습니다.

권한 필터링은 검색 단계에서 적용해야 한다

사내 RAG에서 가장 큰 리스크는 권한입니다. 사용자가 볼 수 없는 문서가 검색 결과에 포함되면 답변에 정보가 섞일 수 있습니다. 문서 원본 접근만 막는 것으로는 부족합니다. 검색 단계에서 사용자 권한을 반영해야 합니다.

권한 필터링은 다음 수준으로 설계합니다.

RAG는 검색 결과를 바탕으로 답변하기 때문에 검색 결과 자체가 권한 안에 있어야 합니다.

문서 업데이트 흐름이 없으면 금방 낡는다

RAG는 구축 직후에는 좋아 보이지만, 문서가 업데이트되지 않으면 몇 달 안에 신뢰를 잃습니다. 특히 정책, 가격, 기능, 담당자, 프로세스가 자주 바뀌는 조직에서는 업데이트 흐름이 중요합니다.

운영 흐름은 다음처럼 설계할 수 있습니다.

1. 문서 오너가 변경 사항을 등록합니다.
2. 변경 문서가 자동으로 재수집됩니다.
3. 이전 버전과 충돌 여부를 확인합니다.
4. 검색 인덱스가 갱신됩니다.
5. 변경 로그가 남습니다.
6. 사용자가 잘못된 답변을 신고할 수 있습니다.

이 구조가 없으면 RAG는 오래된 답변을 자신 있게 말하는 시스템이 됩니다.

답변 품질은 피드백으로 관리한다

RAG 답변의 품질은 사용자가 실제로 찾은 답이 맞았는지로 봐야 합니다. 사용자가 “도움됨”을 누르거나, 답변을 수정하거나, 다른 문서를 선택한 행동이 모두 품질 데이터입니다.

측정할 지표는 다음입니다.

• 검색 성공률
• 답변 채택률
• 재검색률
• 잘못된 답변 신고율
• 문서별 참조 빈도
• 오래된 문서 참조 비율

이 지표가 있어야 어떤 문서를 정리해야 하고, 어떤 질문에 답변이 약한지 알 수 있습니다.

결론

사내 지식 RAG는 한번 구축하고 끝나는 기능이 아닙니다. 문서 품질, 권한, 업데이트, 피드백을 계속 관리해야 합니다. 좋은 RAG는 많은 문서를 넣은 시스템이 아니라, 믿을 수 있는 문서를 올바른 사람에게 정확히 찾아주는 운영 체계입니다.

AI가 사내 지식을 잘 쓰게 하려면 먼저 조직이 지식을 관리하는 방식을 바꿔야 합니다.