개요
| 고객사 | 전국 대리점 유통사 — 대리점 140개 · CS 인원 6명 |
|---|---|
| 산업 · 기술 | 유통 · 챗봇 |
| 기간 | 2026.03 ~ 2026.05 (9주) |
| 투입 범위 | RAG 파이프라인 · 관리자 콘솔 · 메신저 연동 |
| 사용 기술 | FastAPI, pgvector, BGE-m3, 리랭커, Langfuse |
| 공개 등급 | L2 익명 |
무엇이 문제였나요?
제품 규격·반품 정책·프로모션 조건이 담긴 문서가 320건 있었고, 버전이 섞여 있었습니다. CS는 어느 문서가 최신인지 확인하는 데 응대 시간의 절반을 썼습니다.
왜 이 방식을 택했나요?
정답률보다 오답 억제를 우선했습니다. 근거 유사도 임계값을 높게 잡아 답변 거절율을 의도적으로 남기고, 거절 시 담당자 연결로 넘겼습니다. 유통사 CS에서는 틀린 답 1건의 비용이 미응답 10건보다 큽니다.
무엇을 구현했나요?
- 01문서 320건 버전 정리 후 유효기간 메타데이터 부여
- 02하이브리드 검색(벡터 + BM25) — 품번 검색 정확도 확보
- 03골든셋 100문항 반복 QA로 정답률 조정
- 04대리점 메신저 채널에 위젯 연동
Before → After (자사 측정)
CS 1차 응대(월)
1,240건
480건
평균 응답 시간
18분
9초
골든셋 정답률
—
92%
오답 신고(월)
—
2건
측정 방식은 착수 전·오픈 후 동일 기준으로 재측정했으며 산출 근거를 보관합니다.
“모르면 모른다고 답하도록 만든 게 신뢰를 만들었습니다. 대리점이 먼저 챗봇을 씁니다.”
CS팀 리드 · 인용 동의 확보