컨텍스트 윈도우

컨텍스트 윈도우는 LLM이 한 번에 볼 수 있는 작업 기억의 크기로, 입력과 출력을 합친 토큰 수의 상한선이며 이 범위를 벗어난 내용은 모델에게 없는 것과 같다. 긴 문서나 코드베이스를 통째로 맡기거나 긴 대화를 이어갈 때는 이 한도와 함께 실제로 품질이 유지되는 길이를 따져 봐야 한다.

책상 위에 펼쳐 둘 수 있는 서류 양이 정해져 있어서 새 서류를 올리려면 오래된 서류를 치워야 하는 상황과 비슷하다.

광고된 크기를 다 잘 쓰지는 못한다

100만 토큰을 받을 수 있다고 해서 100만 토큰을 모두 잘 활용하는 것은 아니다. 품질이 유지되는 실제 길이는 광고된 크기의 절반 정도에 그치는 경우가 많다. 모델은 중간에 있는 정보를 앞뒤보다 덜 쓰고(Lost in the Middle), 관련 없는 내용이 길게 쌓일수록 판단도 점점 흐려진다.

그래서 중요한 정보는 앞이나 뒤에 두고, 다 쓴 대화나 관련 없는 자료는 과감히 치우는 게 좋다. 새 모델을 고를 때도 윈도우 크기보다 내 작업 길이에서 품질이 유지되는지 직접 재 보는 게 확실하다.

긴 작업은 끊고, 규칙은 파일로 남긴다

Claude Code처럼 오래 쓰는 도구에서는 한계에 가까워지면 이전 대화가 자동으로 요약·압축되고, 이때 초반에 정한 세부 사항이 옅어질 수 있다. 긴 작업은 단계마다 세션을 끊고, 규칙과 진행 상태를 CLAUDE.md 같은 파일로 남겨 두면 안전하다.

넣을수록 비용이 커진다

API는 입력 토큰 수만큼 돈을 받으므로, 요청마다 큰 문서를 통째로 보내면 청구서도 그만큼 커진다. 윈도우가 무한정 커지지 않는 것도 같은 이유다. 길이가 늘수록 계산량과 GPU 메모리가 크게 늘고, 그 비용은 결국 요금에 반영된다.

큰 윈도우가 빛나는 순간

중간 규모 코드베이스 전체나 계약서 수십 건을 한 번에 올려놓고 전체 구조나 조항끼리 모순되는 곳을 묻는 작업에는 큰 윈도우가 확실히 유리하다. 조각으로 나눠 검색하는 방식으로는 잡기 어려운 전체 그림을 한 번에 볼 수 있다. 결국 무엇을 넣을지 고르는 것이 크기만큼 중요하고, 이렇게 넣을 정보를 설계하는 일을 컨텍스트 엔지니어링이라고 부른다.

긴 자료를 통째로 넣고 묻는 데 주로 쓴다

가장 흔한 건 여러 파일이나 긴 문서를 한 번에 넣고 질문하는 방식이다. 윈도우가 넉넉해도 길어지면 품질과 비용이 함께 나빠지므로, 필요한 만큼만 넣고 넘치면 요약하거나 나눠 맡긴다.