픽스파이프

이미지를 비전-언어 모델(VLM)에 넣을 때 생기는 시각 토큰 수를 줄여 비용과 응답 시간을 낮추는 압축 파이프라인이다. 겹치는 영역과 프레임을 걸러 필요한 정보만 남기므로, 고해상도 이미지나 긴 영상, 긴 문서를 컨텍스트에 넣어야 할 때 쓴다.

이미지 한 장이 토큰 수천 개가 된다

VLM은 이미지 한 장을 수백에서 수천 개의 토큰으로 바꿔 읽는다. 고해상도 사진이나 프레임이 많은 영상을 넣으면 토큰이 크게 늘어 컨텍스트 창이 금방 차고, 비용과 응답 시간도 함께 늘어난다. 압축은 이 토큰 수를 줄여 같은 예산으로 더 많은 이미지나 프레임을 넣게 해 준다.

영상은 프레임 사이 중복을 덜어 낸다

영상은 이웃한 프레임이 거의 같아서 중복이 많다. CVPR 2025에서 발표된 PVC(Progressive Visual Token Compression)는 이미지를 '멈춘 영상'으로 보고, 프레임마다 적은 토큰만 쓰면서도 공간 세부와 시간 변화를 함께 살렸다. 이미지와 영상을 따로 처리하지 않고 하나의 파이프라인으로 다룬다는 점이 핵심이다.

반대 방향의 생각도 있다. 이미지 토큰 하나에 텍스트 토큰 여러 개 분량의 정보를 담을 수 있다는 연구가 나오면서, 긴 문서를 이미지로 그려 넣어 토큰을 아끼는 방법이 연구되고 있다. 다만 아직은 실험 단계다.

직접 쓸 때는 해상도와 프레임부터 줄인다

압축 모듈은 보통 모델 안에 학습돼 들어가므로, 일반 사용자가 API에서 바로 켜는 기능은 아니다. 대신 같은 효과를 입력 단계에서 낼 수 있다. 이미지를 필요한 만큼만 줄여 보내고, 영상은 모든 프레임 대신 일정 간격으로 뽑아 보낸다. OpenAI API처럼 이미지 상세도 옵션이 있으면 detail: low로 토큰을 크게 줄일 수 있다.

세밀한 정보부터 사라진다

압축을 세게 할수록 표, 차트, 작은 글씨 같은 세밀한 정보부터 사라진다. 정보가 촘촘한 영역은 덜 압축하는 적응형 방식이 필요하다. 또 압축 모듈을 따로 학습해야 하는 경우가 많아 기존 모델에 간단히 덧붙이기는 어렵다. 결국 내 작업에서 정확도가 얼마나 떨어지는지 직접 비교해 보고 압축 강도를 정하는 게 안전하다.

이미지가 많거나 영상이 길 때 주로 쓴다

가장 흔한 건 긴 영상이나 이미지 묶음을 한 번에 넣어야 하는 작업이다. 그대로 넣으면 컨텍스트가 넘치거나 비용이 커지는 경우에 프레임과 해상도를 줄여 예산 안에 맞춘다.