질의응답

자연어 질문을 이해하고 문서나 지식베이스에서 근거를 찾아 문서 목록이 아니라 답 자체를 돌려주는 AI 기능이다. 사내 규정 챗봇이나 AI 검색처럼 바로 답이 필요할 때 쓰며, 겉모습은 달라도 '질문 이해 → 근거 찾기 → 답 쓰기 → 출처 연결'이라는 같은 흐름으로 도는 RAG의 가장 대표적인 쓰임새다.

LLM 기반 질의응답은 대부분 생성형이다.

RAG로 만들고, 범위부터 정한다

가장 흔한 구현은 RAG다. 질문과 비슷한 의미의 문서 조각을 벡터 데이터베이스에서 찾아온 뒤, 질문과 함께 LLM에 넣어 답을 쓰게 한다. 먼저 어디까지 뒤질지 정해야 한다.

답이 틀리면 검색과 생성을 따로 본다

엉뚱한 문서를 가져와도, 맞는 문서를 잘못 읽어도 답이 틀린다. 둘은 고치는 곳이 전혀 다르니 원인을 나눠서 본다.

여러 번 찾아야 하는 질문은 에이전트로

'이 제품을 만든 팀장이 전에 다니던 회사는?'처럼 팀장을 찾고, 다시 그 사람의 이력을 찾아야 하는 질문을 멀티홉 질의응답이라 한다. 첫 검색이 틀리면 뒤 단계가 통째로 무너진다.

이런 질문은 에이전틱 RAG로 푼다. LLM이 질문을 쪼개고, 결과를 보고 검색어를 고쳐 다시 찾고, 근거가 약한 문장은 한 번 더 검색한다. 토큰과 시간은 더 들지만 복잡한 질문에서는 훨씬 정확해진다. 단순한 질문은 한 번 검색으로 충분하다.

환각을 막으려면 출처를 붙인다

생성형은 검색 결과에 답이 없어도 그럴듯한 문장을 지어낼 수 있다. 그래서 Perplexity처럼 답에 근거 문서를 붙여 사용자가 직접 확인하게 만드는 것이 안전하다.

품질을 잴 때도 정답과 글자가 얼마나 겹치는지만 보면, 표현만 다른 맞는 답이 감점된다. 다른 LLM에게 '이 답이 근거 문서로 뒷받침되는가'를 채점시키는 방식을 함께 쓰는 게 좋다.

문서가 많은 곳에서 '찾아 읽기'를 대신한다

가장 흔한 건 쌓여 있는 문서를 대신 읽고 답해 주는 도우미다. 문서를 정해 둔 닫힌 도메인일수록 만들기 쉽고, 답에 출처를 붙여 두면 사용자가 원문을 바로 확인할 수 있다.