비정형 데이터

비정형 데이터는 이메일, PDF 계약서, 회의 녹음, 리뷰처럼 행과 열로 정리되지 않은 데이터다. 기계가 읽기 어려워 오랫동안 문서 속에 묻혀 있었지만 LLM이 활용할 길을 열었고, RAG로 검색하고 활용하려면 먼저 AI가 다루기 좋은 형태로 바꿔야 한다.

사람은 이런 자료를 읽고 뜻을 바로 알아채지만, 기계에게는 그저 긴 글자 뭉치나 픽셀 덩어리일 뿐이다.

파싱 → 청킹 → 임베딩 순서로 옮긴다

실무의 대부분은 비정형 데이터를 AI가 쓸 수 있게 바꾸는 파이프라인을 짜는 일이다. 사내 문서를 RAG에 넣어 질문에 답하게 하려면 대개 아래 순서를 따른다.

파싱 도구로는 Unstructured나 LlamaParse를 쓸 수 있다. PDF나 HTML을 넣으면 제목·표·본문 같은 이름표가 붙은 조각으로 바꿔 주고, RAG에서 쓰기 좋게 마크다운이나 JSON으로 내보낸다. 그냥 텍스트로 뭉개 버리면 무엇이 제목이고 무엇이 표였는지가 사라지니, 구조를 살려 주는 방식을 고르는 것이 좋다.

스캔 문서는 이미지째 보여줄 수도 있다

스캔 문서나 손글씨처럼 텍스트 레이어가 없는 파일은 두 갈래로 다룬다.

멀티모달 방식에서는 정보를 뽑는 일이 좌표를 맞추는 문제가 아니라 맥락을 읽는 문제로 바뀐다. 그래서 처음 보는 양식의 문서라도 다시 프로그래밍하지 않고 곧바로 핵심 항목을 집어낼 수 있다.

결과는 맨 앞 파싱이 좌우한다

여러 칸이 병합된 복잡한 표나 그림과 캡션이 섞인 레이아웃은 파싱이 조금만 어긋나도 뒤에 이어지는 검색과 답변 품질이 통째로 흔들린다. 청킹을 잘못 자르면 문맥이 끊겨 엉뚱한 답이 나오기도 한다.

그래서 파이프라인의 가장 앞단인 파싱에 가장 공을 들여야 한다. 목표는 억지로 표처럼 정형화하는 것이 아니라, 원래 의미를 잃지 않고 AI가 다루기 좋은 형태로 옮기는 것이다.

문서 검색과 항목 추출에 가장 많이 쓴다

가장 흔한 쓰임은 사내 문서를 RAG로 검색하는 것이다. 그 밖에 서류에서 필요한 항목만 뽑거나, 쌓인 글과 녹음을 LLM으로 정리하는 데도 쓴다.