blog: EnterpriseRAG-Bench: 사내 지식 RAG 벤치마크

[seongyeon1]

Summary

기존 RAG 벤치마크가 위키피디아·웹 같은 공개 데이터에 치우친 문제를 해결하기 위해, 가상의 AI 인프라 회사 "Redwood Inference"의 Slack·Gmail·Jira 등 9종 소스 약 50만 문서를 합성 생성한 사내 RAG 벤치마크. 단순 검색부터 문서 간 충돌 해소, 정보 부재 인식까지 10종 실패 모드를 다루는 500개 질문을 포함하며, 특히 3명 LLM 심판 합의로 골드셋을 릴리즈마다 갱신하는 "correction-aware 평가" 방식을 도입했다. 실험 결과 BM25가 Vector search(text-embedding-3-large)를 모든 카테고리에서 압도했고(정답률 68.8% vs 51.4%), 사내 약어·코드네임이 공개 데이터로 학습된 임베딩 모델의 사각지대임을 확인했다. 생성 프레임워크를 오픈소스화해 다른 도메인이 자체 벤치마크를 만들 수 있도록 했으나, 합성 데이터의 비현실성(평탄한 JSON 구조, 단일 회사 시뮬레이션)과 GPT 계열 의존성은 한계로 남는다.

Meta

Category	knowledge-sharing
Tags
Author	sungyeon
Reading time	~14min
Notion	원본 보기

Review Checklist

• TL;DR이 글 내용을 정확히 요약하는가 (AI 생성)
• 본문이 Notion 원문과 일치하는가
• 태그가 적절한가
• 이미지가 정상 표시되는가
• 민감 정보가 포함되어 있지 않은가

🔐 머지 정책: Sung(@seongyeon1) + Jaehun(@ash-hun) 두 명의 승인이 모두 필요합니다.

---

notion_page_id: 35dadc4b-2553-804f-b924-e07b142faa3d