컨텍스트 스터핑

참고 문서를 골라 넣지 않고 통째로 프롬프트에 넣어, 필요한 부분은 LLM이 스스로 찾아 쓰게 하는 방식이다. 문서가 컨텍스트 창에 들어갈 만큼 작고 자주 바뀌지 않을 때 RAG 대신 쓰는 가장 간단한 방법이다.

검색이 빗나가는 문제를 피한다

RAG는 질문과 비슷한 조각만 골라 넣는다. 그래서 어떤 문서가 필요한지 미리 알기 어려운 질문에서는 정답이 담긴 부분을 빠뜨릴 수 있다. 스터핑은 고르는 단계가 없으니 이런 누락도 없다. 컨텍스트 창이 길어지면서 현실적인 선택지가 됐다.

문서 전체를 봐야 하는 일에 특히 잘 맞는다. 여러 계약서의 조항 비교, 긴 소설의 인물 관계 정리, 작은 코드베이스 전체를 보고 리팩토링 계획 세우기처럼 흩어진 내용을 엮어야 하는 일이다.

넣고, 구분하고, 캐시한다

문서마다 제목이나 태그로 경계를 표시해서 넣고, 질문은 문서 뒤에 둔다. 답할 때 어느 문서를 근거로 했는지 밝히라고 하면 확인하기 쉽다. 같은 문서 묶음에 여러 번 묻는다면 문서를 프롬프트 앞쪽에 고정하고 프롬프트 캐싱을 켠다. 반복 요청의 비용과 응답 시간이 줄어든다.

많이 넣을수록 좋아지진 않는다

컨텍스트가 길어지면 모델이 중간에 있는 내용을 놓치거나, 관련 없는 문서에 끌려 엉뚱한 답을 하기 쉽다. 창에 들어간다고 다 넣으면 오히려 정확도가 떨어질 수 있어서, 이를 반패턴으로 보는 시각도 있다.

비용과 속도도 따져야 한다. 질문이 한 줄이어도 요청마다 문서 전체가 입력 토큰으로 청구되고, 첫 응답이 나오기까지 시간도 길어진다. 실제 서비스라면 확실히 관계없는 문서는 빼고 넣는 것이 좋다.

스터핑으로 시작하고, 부족하면 RAG로

처음에는 스터핑으로 만들어 답 품질의 기준선을 잡는다. 그러다 문서가 창을 넘거나 비용이 부담되면 RAG로 옮긴다. 검색으로 후보 문서를 넉넉히 고르고, 고른 문서는 통째로 넣는 혼합 방식도 흔히 쓴다.

문서를 붙여 넣고 바로 묻는다

가장 흔한 건 채팅 창에 문서 파일을 그대로 올리고 질문하는 방식이다. 검색 시스템을 따로 만들 필요가 없어서 개인 작업이나 작은 사내 도구에서 기본처럼 쓰인다.