멀티모달

이미지, 음성, 영상, PDF 같은 여러 형태의 입력을 모델 하나가 직접 이해하는 AI다. 예전처럼 이미지를 따로 글로 바꿔 넘길 필요가 없어서, 스크린샷을 보여 주며 질문하거나 녹음·문서를 통째로 넣고 요약을 받을 때 쓴다.

보여 주고 묻기만 하면 된다

Claude API에서는 메시지의 content 배열에 텍스트 블록과 이미지 블록을 나란히 넣으면 끝난다. 표와 그래프가 섞인 긴 PDF를 통째로 넣고 질문하는 것도 이제 실무에서 잘 통한다. 요즘 모델은 대화 중에 이미지를 그려서 답하기도 한다.

에이전트와 검색으로 넓어진다

Claude Code 같은 코딩 에이전트가 스크린샷을 보고 UI 버그를 고치는 것도 같은 능력이다. 더 나아가면 모델이 화면을 보며 마우스와 키보드를 직접 다루는 컴퓨터 사용(computer use) 에이전트가 된다. 검색에서는 글과 이미지를 같은 공간에 넣는 멀티모달 임베딩으로 문장으로 사진을 찾거나, 이미지가 섞인 문서로 RAG를 만든다.

이미지는 토큰을 많이 먹는다

이미지는 해상도에 따라 수백~수천 토큰으로 계산된다. 고해상도 스크린샷을 대화마다 다시 넣으면 요금이 빠르게 오른다. 해상도를 줄이면 싸지만 작은 글씨가 뭉개지니, 문서 이미지는 알맞은 해상도를 몇 번 시험해 보고 그 값으로 정해 두는 게 좋다.

잘못 읽기와 숨은 지시문을 조심한다

모델이 차트 수치를 그럴듯하게 틀리게 읽거나, 이미지에 없는 것을 있다고 답할 때가 있다. 숫자가 중요하면 원본 데이터로 한 번 더 확인하는 단계를 둔다.

이미지 안에 사람 눈에 안 띄게 심어 둔 지시문을 모델이 따라 버리는 이미지 프롬프트 인젝션도 새로운 위험이다. 사용자가 올린 이미지를 에이전트가 처리하는 서비스라면, 텍스트만 검사하던 방식으로는 부족하다. 입력 형태별로 한도와 검사 방법을 미리 정해 둔다.

글로 설명하는 대신 화면을 보여 준다

가장 흔한 쓰임은 말로 풀기 번거로운 상황을 스크린샷이나 문서 한 장으로 대신 보여 주는 것이다. 채팅 앱에서 가볍게 묻는 일부터 에이전트와 문서 검색까지 같은 방식으로 이어진다.