Sean Woo | Robotics & AI Editor
이 글에서 알아볼 내용
- RAG는 AI가 관련 자료를 찾아 답변에 참고하도록 하는 방식입니다.
- 자료를 찾는 과정과 문장으로 답하는 과정은 서로 다릅니다.
- 문서를 잘게 나눌 때는 제목·날짜·앞뒤 맥락도 챙겨야 합니다.
- 검색 실패율이 줄었다는 수치를 답변 정답률로 읽으면 안 됩니다.
- 자료의 최신성·접근 권한·실제 답변 근거를 함께 확인해야 합니다.
도서관에서 “이 책은 며칠 동안 빌릴 수 있나요?”라고 물었다고 생각해 보겠습니다. 직원이 기억만으로 대답할 수도 있지만, 오늘 적용되는 이용 안내를 찾아보고 알려주면 더 안심이 됩니다. AI에게도 이렇게 필요한 자료를 먼저 찾아보게 하는 방법이 있습니다.
이 방법을 검색 증강 생성, RAG(Retrieval-Augmented Generation)라고 부릅니다. 관련 문서를 찾는 기능과 답변을 만드는 AI를 연결하는 개념입니다. 이 글은 2020년 공개된 기초 논문과 이후 기술문서를 바탕으로 원리를 설명하는 지식해설입니다. 새로운 제품 출시 소식이 아닙니다. RAG 논문 1·2절
1. AI에게 ‘참고할 책’을 건네는 방법입니다
대규모 언어 모델, 즉 LLM은 많은 글에서 배운 패턴을 바탕으로 문장을 만듭니다. 하지만 특정 도서관이 오늘 바꾼 규정까지 모델 자체가 알고 있다고 기대할 수는 없습니다.
RAG는 질문에 맞는 외부 자료를 찾아, 질문과 함께 AI에게 전달합니다. 책을 새로 외우게 하는 일과 답변할 때 펼쳐 볼 자료를 건네는 일은 다릅니다. 기초 논문도 문서를 찾는 부분과 문장을 만드는 부분을 구분하고, 검색용 자료를 교체해 지식을 갱신하는 실험을 다뤘습니다. 논문 2절·4.5절
다만 ‘책을 펼쳐 보는 AI’는 이해를 돕는 비유입니다. 실제로는 사람이 책장을 넘기듯 읽는 것이 아니라, 검색 결과의 텍스트 등을 입력으로 받아 답을 생성합니다. RAG를 쓴다고 모든 답이 자동으로 정확해지는 것도 아닙니다.
2. 질문 하나가 답이 되기까지
도서관 안내 문서를 사용하는 간단한 RAG를 가정해 보겠습니다. 다음의 대출 기간과 문서 구성은 설명을 위한 가상 예시입니다.
- 자료를 준비합니다. 이용 안내를 ‘대출’, ‘반납’, ‘휴관’처럼 찾기 좋은 부분으로 나누고, 문서 제목과 적용 날짜를 함께 보관합니다.
- 관련 부분을 찾습니다. “며칠 빌리나요?”라는 질문에서 대출 기간을 설명하는 부분을 찾습니다.
- 질문과 자료를 함께 전달합니다. 예를 들어 “일반 도서의 대출 기간은 14일”이라는 안내 문장을 AI에게 줍니다.
- 근거를 바탕으로 답하게 합니다. “일반 도서는 14일입니다”라고 설명하고, 어떤 안내를 참고했는지 확인할 수 있게 구성합니다.
여기서 청크(chunk)는 검색을 위해 나눈 ‘문서 조각’입니다. 임베딩(embedding)은 글의 의미를 숫자 배열로 표현하는 방법입니다. 이를 이용하면 질문과 표현이 꼭 같지 않아도 관련된 문서 조각을 찾을 수 있습니다. 단어가 정확히 일치하는 검색을 함께 쓰기도 합니다. Microsoft의 RAG 설명: 문서 준비와 검색
예를 들어 질문에는 ‘빌리는 기간’, 안내에는 ‘대출 기한’이라고 적혀 있을 수 있습니다. 반대로 장비 번호처럼 글자 하나가 중요한 질문도 있습니다. ITTimes는 검색 방식을 고를 때 이 두 종류의 질문을 따로 시험해 볼 필요가 있다고 봅니다.
3. 문장을 찾았어도 앞뒤가 빠지면 헷갈립니다
이번에는 문서 조각에 “최대 3권까지 가능합니다”만 남았다고 가정해 보겠습니다. 책을 빌리는 한도인지, 예약하는 한도인지 알 수 있을까요? 어린이 회원에게만 적용되는 안내일 수도 있습니다.
이럴 때 조각에 문서 제목·대상·시점 같은 맥락을 덧붙이는 방법이 도움이 될 수 있습니다. Anthropic은 2024년 9월 19일 이를 위한 ‘Contextual Retrieval’을 소개했습니다. 문서 전체에서 조각의 의미를 설명하는 짧은 맥락을 만들어 검색에 함께 사용하는 방식입니다. Anthropic 기술문서: Contextual Retrieval
도서관 예시로 돌아오면 “어린이 회원의 도서 예약 안내에 있는 문장”이라고 함께 적는 셈입니다. 다만 덧붙인 설명 자체가 틀리면 또 다른 문제가 됩니다. 원문과 다른 조건을 만들어 붙여서는 안 됩니다.
4. ‘실패율 67% 감소’는 답변이 67% 더 정확하다는 뜻이 아닙니다
Anthropic이 위 기술문서에서 보고한 수치를 살펴보겠습니다. 평가 지표는 1−recall@20입니다. 쉽게 말해, 찾아야 할 관련 자료를 상위 20개 검색 결과에서 얼마나 놓쳤는지를 보는 지표입니다.
| 비교한 방식 | 검색 실패율 |
|---|---|
| 기준 방식 | 5.7% |
| 맥락을 덧붙인 의미 검색 + 단어 검색 | 2.9% |
| 위 방식에 검색 결과 재정렬까지 추가 | 1.9% |
이는 회사가 코드·소설·논문 등 여러 영역에서 평가한 평균 결과입니다. 해당 비교에는 Gemini Text 004 임베딩을 사용했습니다. 재정렬 실험에서는 후보 150개를 다시 평가해 20개를 골랐고, Cohere의 재정렬 모델을 사용했습니다. 모든 RAG나 모든 질문에 그대로 적용되는 수치가 아닙니다. 원문 Methodology·Performance improvements·Reranking
5.7%에서 1.9%로 줄어든 폭은 3.8%포인트입니다. 원래 실패율을 기준으로 계산하면 (5.7−1.9)÷5.7×100 ≈ 66.7% 감소입니다. 이 계산은 원문에 표시된 반올림 수치로 한 것입니다.
중요한 점은 ‘자료를 놓치는 정도’와 ‘최종 답변을 틀리는 정도’가 다르다는 것입니다. 올바른 안내를 찾았어도 AI가 예외 조건을 빠뜨릴 수 있습니다. 따라서 이 결과를 “답변 정답률 98.1%”라고 바꿔 쓰면 안 됩니다.
5. 회사와 로봇 현장에서는 무엇을 확인해야 할까요?
로봇 장비 설명서를 찾아 주는 업무용 AI를 만든다고 가정해 보겠습니다. RAG는 관련 설명을 찾는 데 쓸 수 있지만, 설명서를 찾았다는 사실이 로봇을 안전하게 움직였다는 증거는 아닙니다. 여기서 다룬 것은 문서 검색과 답변이지, 실제 장비의 동작 검증이 아닙니다.
ITTimes는 도입 전에 다음 세 질문을 확인하는 편이 유용하다고 봅니다.
- 맞는 자료인가요? 모델명·버전·적용 날짜가 질문의 대상과 맞는지 확인합니다. 예전 설명서를 연결한 채 최신 답변을 기대해서는 안 됩니다.
- 열어 봐도 되는 자료인가요? 사용자가 원래 볼 수 없는 문서가 AI 답변을 통해 노출되지 않도록 접근 권한을 관리해야 합니다. Microsoft도 RAG의 주요 과제로 이를 명시합니다. 공식 문서의 Security and governance
- 답변이 원문과 맞나요? 링크가 있다는 사실만 보지 말고, 그 문서가 답변의 숫자와 조건을 실제로 뒷받침하는지 확인합니다. 근거가 없을 때는 확인할 수 없다고 답하도록 설계하고 시험할 필요가 있습니다.
정리하면, RAG의 핵심은 AI에게 자료를 많이 주는 것이 아니라 질문에 맞는 자료를 찾고, 그 근거에서 벗어나지 않게 답하도록 만드는 것입니다. ‘얼마나 그럴듯하게 말하나’에 더해 ‘무엇을 보고 그렇게 답했나’를 함께 확인하는 출발점입니다.
함께 읽으면 좋은 글
원문 자료
- Lewis 외, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks — 최초 제출 2020년 5월 22일, 확인본 v4(2021년 4월 12일), 1·2·4.5절.
- Anthropic, Introducing Contextual Retrieval — 2024년 9월 19일, 평가 방법·검색 실패율·재정렬 조건.
- Microsoft Learn, Retrieval-augmented generation in Azure AI Search — 페이지 갱신일 2026년 8월 4일, 검색·문서 준비·접근 권한 설명.
자료 확인일: 2026년 9월 12일. 논문 결과·회사 자체 평가와 설명을 위한 가상 예시는 본문에서 구분했습니다.
Sean Woo | Robotics & AI Editor
15년 이상 로보틱스 기술·사업 방향성 수립 업무를 해왔습니다. 공개된 기술문서·논문·기업 발표를 바탕으로 로봇과 AI의 변화를 이해하기 쉽게 분석합니다. 이 매체의 해석은 특정 회사나 기관의 공식 입장을 대변하지 않습니다.