RAG 챗봇이 지어내지 않게 만드는 6가지 장치

RAG 챗봇은 왜 여전히 지어내나요?

대부분의 원인은 모델이 아니라 검색입니다. 관련 없는 문단이 근거로 들어오면, 모델은 그 문단을 성실하게 활용해 그럴듯한 오답을 만듭니다. 즉 오답의 책임 소재는 생성이 아니라 검색 단계에 있습니다.

가장 효과가 큰 조치는 무엇인가요?

근거 유사도 임계값을 세우고, 미달이면 답하지 않게 만드는 것입니다. 답변 거절율이 8~12% 남는 설정이 실무에서 가장 신뢰를 얻었습니다. 거절은 실패가 아니라 설계된 동작입니다.

한국어에서 벡터 검색만으로 부족한 이유는?

품번·모델명·법령 조항 번호처럼 의미가 아니라 문자열이 중요한 질의가 많습니다. 벡터 유사도는 이런 토큰을 뭉개기 때문에 BM25 키워드 검색과 병행하고, 리랭커로 순위를 다시 매겨야 합니다.

문서 개정은 어떻게 처리해야 하나요?

문서가 아니라 조항 단위로 시행일·폐지일을 메타데이터로 붙이고, 질의 시점 기준으로 검색 범위를 먼저 필터링합니다. 인덱스에 남은 폐기 문서는 언제든 인용됩니다.

품질은 무엇으로 측정하나요?

골든셋 100문항을 만들고 정답률·근거 적합도·거절율을 함께 봅니다. 정답률만 보면 거절을 없애는 방향으로 튜닝하게 되어, 오히려 위험한 챗봇이 됩니다.