AI Wiki · 분야별 키워드
데이터
AI가 최신 정보나 내 문서를 근거로 답하려면 데이터를 잘 다뤄야 합니다. 모델은 학습 시점 이후의 일을 모르고 회사 내부 문서도 본 적이 없기 때문에, 필요한 지식을 검색해서 모델에게 건네주는 파이프라인이 필요합니다. 그 뼈대가 RAG이고, 문서를 검색 가능한 형태로 바꾸는 임베딩, 그것을 저장·검색하는 벡터 DB, 문서를 적절한 크기로 자르는 청킹이 각 단계를 담당합니다. 검색 품질을 끌어올리는 리랭킹·하이브리드 검색, 지식을 그래프로 연결하는 GraphRAG까지 — 검색과 지식 연결에 관한 개념들을 순서대로 모았습니다.
- 그래프 RAG Graph RAG지식 그래프를 RAG에 결합해 단순 유사도 검색을 넘어 엔티티 간 관계를 탐색하며 답변하는 방식. Microsoft가 2024년 발표하며 주목받았다.
- 데이터 레이블링 Data Labeling학습 데이터에 정답이나 메타데이터를 붙이는 작업. RLHF의 선호 데이터, SFT의 응답 데이터 등 LLM 정렬과 파인튜닝의 품질을 결정하는 핵심 작업이다.
- 데이터 증강 Data Augmentation부족한 학습 데이터를 변형하거나 생성해서 늘리는 기법. LLM을 활용한 합성 데이터 생성이 최근 주류가 됐다.
- 데이터 큐레이션 Data Curation모델 학습이나 RAG에 쓸 데이터를 수집하고 정제하고 선별하는 과정. 데이터 품질이 모델 성능을 결정한다.
- 데이터 파이프라인 Data Pipeline데이터를 수집, 변환, 저장, 배포하는 일련의 자동화된 처리 흐름. AI 시스템에서는 학습 데이터 준비부터 실시간 추론 데이터 공급까지 AI의 품질을 결정하는 인프라다.
- 데이터 플라이휠 Data Flywheel사용자가 많아질수록 데이터가 쌓이고, 데이터로 모델이 좋아지며, 좋은 모델이 더 많은 사용자를 끌어오는 선순환 구조. AI 서비스의 핵심 경쟁력이다.
- 리랭킹 Reranking초기 검색으로 가져온 문서들을 더 정밀한 모델로 재평가해 순위를 재조정하는 기법. RAG의 컨텍스트 품질을 높이는 가장 효과적인 후처리 단계다.
- 멀티모달 임베딩 Multimodal Embedding텍스트와 이미지, 오디오 등 서로 다른 형식의 데이터를 같은 벡터 공간에 표현하는 기술. "이 이미지와 비슷한 설명 찾기"처럼 형식을 넘나드는 검색이 가능해진다.
- 멀티모달 RAG Multimodal RAG텍스트뿐 아니라 이미지, 표, 차트를 포함한 문서에서 검색하고 답변하는 RAG 확장. PDF나 프레젠테이션처럼 시각적 요소가 섞인 비즈니스 문서 처리에 필수다.
- 문서 파싱 Document ParsingPDF, 워드, 스캔 이미지 등 다양한 형식의 문서에서 텍스트와 구조 정보를 추출하는 전처리 기술. RAG 파이프라인의 첫 번째 단계이자 데이터 품질을 결정하는 기반이다.
- 벡터 DB Vector Database임베딩 벡터를 저장하고, 수백만 개 중에서 가장 유사한 항목을 밀리초 단위로 찾아주는 전문 데이터베이스. RAG의 검색 엔진 역할을 한다.
- 비정형 데이터 Unstructured Data행과 열로 정리되지 않은 텍스트, 이미지, 음성, 영상 형태의 데이터. 세상의 데이터 대부분이 비정형이며, AI가 이를 처리하는 능력이 LLM의 핵심 가치다.
- 시맨틱 캐시 Semantic Cache이전에 처리한 쿼리와 의미적으로 유사한 새 쿼리가 들어오면 LLM을 다시 호출하지 않고 캐시된 답변을 반환하는 기법.
- 온톨로지 Ontology도메인의 개념과 관계를 기계가 이해할 수 있도록 형식적으로 정의한 지식 구조. AI가 단순히 데이터를 저장하는 것을 넘어 의미를 이해하고 추론할 수 있게 해준다.
- 임베딩 Embedding텍스트, 이미지, 코드 등을 의미를 담은 숫자 벡터로 변환하는 기술. "자동차"와 "automobile"이 벡터 공간에서 가까이 놓여, 의미 기반 검색과 비교가 가능해진다.
- 지식 그래프 Knowledge Graph엔티티와 그 관계를 그래프 구조로 표현한 데이터베이스. AI에서는 RAG의 검색 정확도를 높이거나, LLM의 사실 기반 추론을 보강하는 데 활용된다.
- 청킹 Chunking대용량 문서를 벡터 DB에 넣기 좋은 작은 단위로 쪼개는 전처리 과정. 쪼개는 방식에 따라 RAG 검색 정확도가 크게 달라진다.
- 컨텍스트 압축 Context Compression긴 컨텍스트를 핵심 정보만 남기도록 압축해서 LLM 비용을 줄이고 성능을 높이는 기법.
- 하이브리드 검색 Hybrid Search키워드 기반 검색(BM25)과 의미 기반 벡터 검색을 결합해 두 방식의 장점을 모두 취하는 검색 기법. RAG의 검색 품질을 높이는 가장 실용적인 방법이다.
- 합성 데이터 Synthetic Data실제 데이터 대신 AI나 알고리즘으로 만든 인공 데이터. 개인정보 걱정 없이 학습 데이터를 대량 생산할 수 있어서, 최근 LLM 학습의 핵심 재료가 되고 있다.
- RAG Retrieval-Augmented GenerationLLM이 응답을 만들기 전에 외부 문서나 DB에서 관련 정보를 검색해 컨텍스트에 넣어 주는 기술. 모델이 모르는 정보도 정확하게 답할 수 있게 해준다.