RAG를 비유로 풀면 — 시험장에 책을 들고 들어가는 것

RAG라는 말을 자주 보시지만 설명은 대개 어렵게 돼 있습니다. 비유 하나로 시작하겠습니다.

시험을 본다고 해 봅시다. 첫 번째 방식은 머릿속에 든 것만으로 답을 쓰는 것입니다. 아는 문제는 잘 쓰지만, 모르는 문제는 그럴듯하게 지어내게 됩니다. 두 번째 방식은 책을 들고 들어가서, 문제를 읽고 관련된 쪽을 펴서 보고 답을 쓰는 것입니다. RAG는 두 번째 방식입니다.

세 단계로 나뉩니다

· 찾기 — 질문과 관련된 문서 조각을 우리 자료에서 골라냅니다. · 넣기 — 그 조각을 질문과 함께 모델에게 건넵니다. · 답하기 — 모델은 건네받은 내용 안에서 답을 만듭니다.

핵심은 두 번째 단계가 아니라 첫 번째 단계입니다. 엉뚱한 쪽을 펴 주면 아무리 좋은 모델도 엉뚱한 답을 씁니다. 실무에서 RAG가 잘 안 된다고 할 때, 원인이 모델보다 찾기 쪽에 있는 경우가 많다고들 합니다.

그래서 어디에 손이 많이 가는가

책을 들고 들어가려면 책이 정리돼 있어야 합니다. 문서가 흩어져 있거나, 옛 버전과 새 버전이 섞여 있거나, 표와 그림으로만 돼 있으면 찾기 단계가 무너집니다. RAG 프로젝트에서 데이터 정리에 시간이 많이 든다는 이야기가 나오는 이유입니다.

혹시 사내 문서가 지금 어떤 상태인지 떠올려 보시면, RAG를 붙였을 때 어느 단계에서 막힐지 짐작이 되실 것 같습니다. 여러분의 자료는 어느 쪽에 가깝습니까?