사내 규정을 연결한 AI에 휴가 제도를 물었는데 예전 규정으로 답했다면 무엇부터 확인해야 할까요? 모델 성능만 바꾸기 전에 어떤 문서가 검색됐는지 볼 필요가 있습니다. RAG는 질문과 관련된 자료를 찾아 생성 모델의 문맥에 제공하는 방식입니다. 자료가 연결돼 있다는 사실과 정확한 최신 자료가 답변에 쓰였다는 사실은 다릅니다.
문서를 읽는 것과 모델을 다시 학습하는 것은 다릅니다
RAG는 검색한 내용을 답변할 때 참고하도록 제공하는 구조입니다. 새 문서를 올렸다고 반드시 모델 자체의 지식이 영구적으로 바뀌는 것은 아닙니다. 검색 색인이 갱신되지 않았거나 필요한 부분이 잘못 나뉘어 저장됐다면 자료가 있어도 찾지 못할 수 있습니다. 서비스마다 구현이 다르므로 문서 등록, 검색 반영, 삭제 반영이 언제 이뤄지는지 확인하세요.
답변과 함께 근거 문서를 확인합니다
근거 표시가 있다면 문서 이름뿐 아니라 개정일과 실제 인용 부분을 보세요. 같은 제목의 옛 문서와 최신 문서가 함께 있으면 답변이 섞일 수 있습니다. ‘자료를 찾지 못함’과 ‘규정에 해당 사항이 없음’도 다른 답입니다. 검색에 실패한 상황에서 일반적인 설명으로 빈칸을 채우지 않도록 운영 기준을 정하는 것이 좋습니다.
작은 질문 묶음으로 운영 상태를 점검하세요
도입 전에는 답을 아는 질문, 예외가 있는 질문, 문서에 답이 없는 질문을 섞어 시험해보세요. 정답률뿐 아니라 어느 자료를 가져왔고 어떤 조건을 생략했는지를 기록합니다. 민감한 문서를 연결하는 경우 사용자가 원래 볼 수 없는 자료가 검색 결과나 요약으로 드러나지 않는지도 점검해야 합니다. 검색 권한은 문서 접근 권한과 함께 설계할 문제입니다.
- 최신 문서와 폐기 문서 구분하기
- 검색 결과와 최종 답변을 함께 점검하기
- 답이 없는 질문도 평가에 넣기
- 문서 수정·삭제 후 반영 상태 확인하기
RAG의 품질은 모델 이름 하나로 결정되지 않습니다. 자료의 관리 상태, 검색 과정, 답변 검토 절차가 함께 작동할 때 활용도를 높일 수 있습니다.