멀티모달 RAG

텍스트뿐 아니라 문서 속 이미지·표·차트까지 검색 대상으로 삼는 RAG로, 재무 차트·기술 도면·발표 자료처럼 답이 그림 속에 있는 문서를 다룰 때 쓴다. 텍스트만 뽑아 쓰는 일반 RAG가 놓치는 시각 정보까지 찾아 답한다.

세 가지 방식, 문서 성격에 맞춰 고른다

시각 정보를 검색할 수 있게 만드는 방법은 크게 세 가지다. 지금 쓰는 텍스트 RAG를 그대로 두고 싶다면 첫 번째가 가장 쉽고, 레이아웃이 복잡한 문서가 많다면 세 번째가 낫다.

구축은 분리 → 변환 → 검색 → 답변 순서

먼저 Unstructured.io나 LlamaParse 같은 파서로 PDF에서 텍스트·표·이미지를 나눈다. 그다음 이미지는 GPT-4o 같은 비전 모델로 설명문을 만들거나 멀티모달 임베딩으로 벡터화해, 텍스트 청크와 같은 인덱스에 넣는다.

질문이 들어오면 관련 청크와 이미지를 찾고, 답변 단계에서는 원본 이미지도 비전 모델에 함께 넘기는 편이 좋다. 설명문만 넘기면 변환 때 빠진 세부를 모델이 볼 수 없다. 기술 매뉴얼의 배선도를 이렇게 처리하면 "A 모듈과 B 모듈은 어떻게 연결되나?" 같은 질문에도 답할 수 있다.

그림에 답이 없으면 굳이 쓰지 않는다

계약서·정책 문서처럼 대부분 텍스트인 자료라면 일반 RAG로 충분하다. 이미지 처리는 인덱싱 시간과 비용을 크게 늘리므로, 표·차트·도면이 실제로 답의 근거가 되는지부터 확인한다.

변환 품질이 곧 검색 품질이다

VLM이 차트 수치를 잘못 읽거나 설명을 대충 쓰면 검색과 답변이 함께 틀린다. 숫자가 중요한 표는 이미지 설명보다 표 구조를 그대로 추출하는 편이 정확하다. 전체를 인덱싱하기 전에 몇 페이지를 골라 변환 결과를 직접 확인해 보는 게 좋다.

도표가 많은 문서 검색에 주로 쓴다

가장 흔한 건 슬라이드·보고서·매뉴얼이 쌓인 사내 문서 검색에 붙이는 방식이다. 텍스트 RAG를 먼저 두고, 그림 속 정보 때문에 답을 놓치는 문서부터 멀티모달 처리를 더한다.