서머라이저

서머라이저는 AI 에이전트가 일하면서 쌓인 관찰 결과, 도구 호출 로그, 중간 응답 같은 긴 컨텍스트를 핵심만 남기고 압축해 다음 모델에 넘기는 단계다. 컨텍스트 윈도우가 꽉 차거나 토큰 비용이 커지기 전에 에이전트 사이, RAG, 긴 대화에 끼워 넣는다. 그러면 에이전트가 한계에 걸리지 않고 더 오래 작업을 이어 간다.

에이전트 사이에 압축 단계를 하나 둔다

멀티에이전트 워크플로우에서 서머라이저는 독립된 단계로 들어간다. 예를 들어 Claude Code로 큰 리팩토링을 할 때 파일 탐색 에이전트가 읽은 수십 개 파일을 그대로 넘기면 컨텍스트가 금방 바닥난다.

중간에 서머라이저를 두고 "파일 A는 인증 로직, 파일 B는 DB 접근 레이어" 정도로 줄여 넘기면, 코딩 에이전트는 훨씬 적은 토큰으로 같은 판단을 내린다. RAG에서도 검색 문서를 통째로 넘기지 말고 쿼리와 관련된 부분만 추려 넘기면 응답 품질과 비용이 함께 좋아진다.

긴 대화는 주기적으로 한 문단으로 바꾼다

수십 턴이 쌓인 대화라면 오래된 부분을 주기적으로 요약해 한 문단으로 바꾼다. 중요한 맥락은 남기면서 새 작업에 쓸 컨텍스트 공간을 계속 확보할 수 있다.

청크 크기로 압축 정도를 조절한다

단계적으로 나눠 요약하는 계층적 방식에서는 한 번에 묶는 청크 크기로 얼마나 줄일지 정한다. 청크를 크게 잡을수록 더 많이 압축된다.

청크 크기에 따른 압축률. 계층적 요약 방식(NexusSum)에서 나온 값이다.

마스킹 먼저, 넘치는 부분만 요약

요약하면 정보가 빠질 수밖에 없다. 무엇을 남길지 잘못 고르면 뒤 에이전트가 틀린 전제를 깔고 일하게 된다.

그래서 서머라이저 하나만 쓰기보다, 덜 중요한 관찰은 먼저 관찰 마스킹(observation masking)으로 걸러 내고 그래도 넘치는 부분만 요약하는 혼합 방식이 더 안정적이다. JetBrains 연구도 이 조합을 권한다.

코딩 에이전트의 컨텍스트 압축이 가장 흔하다

가장 많이 쓰는 곳은 오래 도는 코딩 에이전트다. 컨텍스트가 차면 지금까지 한 일을 요약으로 바꾸고 그 요약 위에서 작업을 이어 간다. 검색 답변이나 상담 챗봇에서도 긴 입력을 줄여 비용과 응답 품질을 함께 챙기는 용도로 쓴다.