레이턴시 최적화

LLM이 답을 빨리 시작하고 빨리 끝내게 만드는 방법 모음으로, 첫 글자가 나오기까지의 시간과 답을 끝내기까지의 시간을 줄인다. 채팅, 음성 비서, 자동완성처럼 사용자가 화면 앞에서 답을 기다리는 서비스라면 꼭 챙겨야 한다.

기다리는 시간은 아래처럼 나눠서 본다.

API만 써도 바로 줄일 수 있다

모델을 직접 돌리지 않아도 API를 부르는 쪽에서 할 수 있는 일이 많다. 전체 시간은 출력 길이에 비례해서 늘어나므로, 출력을 줄이는 것부터 하는 게 효과가 크다.

직접 서빙하면 엔진에서 줄인다

vLLM 같은 서빙 엔진으로 모델을 직접 띄운다면 서버 쪽 기법도 쓸 수 있다. KV 캐시는 이미 계산한 앞부분을 다시 계산하지 않게 하고, Flash Attention은 긴 프롬프트를 빨리 처리한다.

추측적 디코딩은 작은 모델이 토큰 여러 개를 먼저 써 두면 큰 모델이 한꺼번에 검사하는 방식이라 TPOT가 준다. 양자화로 모델을 가볍게 만들거나, 사용자와 가까운 지역에 서버를 두어 네트워크 왕복 시간을 줄이는 방법도 있다.

빠른 응답과 처리량은 서로 맞바꾼다

요청을 크게 묶어 처리하면 서버가 한 번에 많이 처리하지만, 요청 하나하나는 느려진다. 그래서 상황마다 무엇을 먼저 챙길지 정해야 한다.

재 보고 고친다

작은 모델로 바꾸거나 출력을 줄이면 품질이 떨어질 수 있으니, 바꾸기 전과 후의 답을 비교해 본다. 프롬프트 캐싱은 앞부분이 매번 같아야 적용되므로 날짜나 사용자 이름처럼 바뀌는 값은 뒤에 둔다.

감으로 고치지 말고 TTFT와 전체 시간을 따로 기록해서 어디가 느린지부터 찾는다. 정해진 규칙으로 처리할 수 있는 단계는 LLM 대신 일반 코드로 바꾸는 것이 가장 빠르다.

사용자가 기다리는 곳마다 챙긴다

가장 흔한 건 스트리밍과 프롬프트 캐싱을 기본으로 켜 두는 방식이다. 그 위에 서비스 성격에 맞춰 출력 길이, 모델 크기, 호출 순서를 조절한다.