비전-언어 모델

비전-언어 모델(VLM)은 이미지와 글을 함께 읽고 글로 답하는 모델로, 에러 화면·차트·문서 사진처럼 말로 옮기기 번거로운 정보를 그대로 보여 주고 질문할 때 쓴다. 글자만 뽑는 OCR과 달리 내용을 이해해 설명하며, Claude·GPT·Gemini 같은 주요 AI 챗봇 대부분에 이 기능이 들어 있다.

이미지를 잘게 나눠 글처럼 읽는다

텍스트만 다루던 LLM에 '눈'을 붙인 구조다. 이미지를 작은 조각(패치)으로 나누면, 시각 인코더(주로 ViT)가 각 조각을 언어 모델이 읽을 수 있는 토큰으로 바꾸고, 이 토큰을 질문과 함께 처리한다. 이미지와 글을 같은 의미로 맞추는 방식은 CLIP이 기반을 만들었고, 이후 GPT-4V, Claude, Gemini, LLaVA 등이 이를 발전시켰다.

그래서 이미지도 결국 토큰으로 계산된다. 큰 이미지를 많이 넣을수록 비용이 늘고 응답도 느려진다.

채팅은 붙여넣기, API는 이미지 블록

채팅 앱에서는 스크린샷을 붙여넣거나 파일을 첨부한 뒤 질문을 적으면 된다. "이 에러가 왜 났는지 설명해 줘", "이 표를 CSV로 바꿔 줘"처럼 원하는 결과를 구체적으로 쓸수록 답이 좋아진다.

API에서는 메시지에 이미지 블록(base64 데이터나 URL)을 넣고 그 뒤에 텍스트 질문을 붙인다. 여러 장을 비교시킬 때는 "첫 번째는 예상 화면, 두 번째는 실제 화면"처럼 순서를 글로 알려 줘야 헷갈리지 않는다.

작은 글씨와 정확한 숫자는 약하다

VLM은 전체 상황을 파악하는 데는 강하지만, 작은 글씨를 읽거나 물건 개수를 세거나 정확한 위치를 짚을 때는 틀리기 쉽다. 입력 이미지를 모델이 자동으로 줄이는 경우가 많으니, 중요한 부분은 잘라서 크게 넣는 편이 낫다.

차트 값이나 서류 금액처럼 틀리면 곤란한 정보는 원본과 꼭 대조한다. 글자를 대량으로 그대로 뽑기만 할 거라면 전용 OCR이 더 싸고 결과도 일정하다. 또 이미지 속 문구를 지시로 착각해 따를 수 있으니, 출처를 모르는 이미지를 자동으로 처리할 때는 조심해야 한다.

스크린샷 질문과 문서 정리에 가장 많이 쓴다

가장 흔한 건 막힌 화면을 캡처해 챗봇에 붙여넣고 원인을 묻는 방식이다. 그다음으로 사진·스캔 문서를 읽어 필요한 내용만 표로 정리하는 데 많이 쓴다.