AI Wiki · 분야별 키워드

데이터

AI가 최신 정보나 내 문서를 근거로 답하려면 데이터를 잘 다뤄야 합니다. 모델은 학습 시점 이후의 일을 모르고 회사 내부 문서도 본 적이 없기 때문에, 필요한 지식을 검색해서 모델에게 건네주는 파이프라인이 필요합니다. 그 뼈대가 RAG이고, 문서를 검색 가능한 형태로 바꾸는 임베딩, 그것을 저장·검색하는 벡터 DB, 문서를 적절한 크기로 자르는 청킹이 각 단계를 담당합니다. 검색 품질을 끌어올리는 리랭킹·하이브리드 검색, 지식을 그래프로 연결하는 GraphRAG까지 — 검색과 지식 연결에 관한 개념들을 순서대로 모았습니다.

그래프 RAG Graph RAG문서에서 사람·조직·개념 같은 엔티티와 그 관계를 뽑아 지식 그래프로 만든 뒤, 그 연결을 따라가며 답을 찾는 RAG 방식이다. 비슷한 문장 조각만 찾는 일반 RAG가 약한 질문, 곧 여러 문서에 흩어진 정보를 엮거나 "이 보고서들의 주요 테마는?"처럼 전체를 훑어야 하는 질문에 답할 때 쓴다.
데이터 레이블링 Data Labeling학습 데이터에 정답이나 평가를 붙이는 작업으로, SFT용 모범 답 작성이나 RLHF용 선호 비교처럼 LLM을 파인튜닝하거나 정렬할 데이터를 만들 때 쓴다. 레이블 품질이 곧 모델 품질이라서, 잘 만든 데이터 조금이 대충 만든 데이터 많이보다 나은 경우가 많다.
데이터 증강 Data Augmentation학습 데이터를 조금씩 바꾸거나 LLM으로 비슷한 예시를 만들어 양을 늘리는 기법으로, 특정 분야 데이터가 부족해 파인튜닝이나 모델 학습 성능이 잘 나오지 않을 때 쓴다. 이미지 분류에서 시작됐지만 요즘은 LLM으로 합성 데이터를 만드는 방식을 주로 쓴다.
데이터 큐레이션 Data Curation데이터 큐레이션은 모델 학습이나 RAG에 쓸 데이터에서 잡음·중복·편향·틀린 레이블을 걸러 내고 쓸 만한 데이터만 남기는 과정이다. 데이터 품질이 최종 성능을 좌우하므로 파인튜닝이나 RAG 결과가 기대에 못 미치면 모델이나 프롬프트를 바꾸기 전에 데이터부터 점검한다.
데이터 파이프라인 Data Pipeline데이터를 원천에서 가져와 정리·검증한 뒤 필요한 곳에 넣어 주는 자동화된 처리 흐름으로, 사람이 매번 손대지 않아도 정해진 순서와 일정에 맞춰 같은 작업을 반복한다. AI에서는 학습 데이터 준비, RAG 지식 베이스 갱신, 실시간 추론에 쓸 데이터 공급에 쓴다.
데이터 플라이휠 Data Flywheel데이터 플라이휠은 서비스를 쓰면서 쌓인 데이터로 모델을 고치고, 나아진 서비스가 다시 더 많은 데이터를 모으는 선순환 구조다. 사용자 반응을 모을 수 있는 AI 서비스라면 처음 설계할 때부터 이 구조를 넣어 두는 것이 좋다.
리랭킹 Reranking1차 검색이 빠르게 가져온 후보 문서를 더 꼼꼼한 모델로 다시 채점해 순위를 새로 매기는 단계로, 서류 전형 뒤에 면접을 보는 것과 비슷하다. RAG에서 LLM에 넘길 문서를 고를 때 쓰며, 답변 품질을 높이는 가장 손쉬운 개선 지점으로 꼽힌다.
멀티모달 임베딩 Multimodal Embedding글, 사진, 오디오처럼 형식이 다른 데이터를 같은 벡터 공간의 숫자 목록(벡터)으로 바꿔, 의미가 비슷하면 형식이 달라도 가까이 놓이게 하는 기술이다. 글로 사진을 찾거나 사진으로 비슷한 상품·설명을 찾는 형식을 넘나드는 검색에 쓴다.
멀티모달 RAG Multimodal RAG텍스트뿐 아니라 문서 속 이미지·표·차트까지 검색 대상으로 삼는 RAG로, 재무 차트·기술 도면·발표 자료처럼 답이 그림 속에 있는 문서를 다룰 때 쓴다. 텍스트만 뽑아 쓰는 일반 RAG가 놓치는 시각 정보까지 찾아 답한다.
문서 파싱 Document ParsingPDF, 워드, 스캔 이미지 같은 문서에서 텍스트와 표·제목 같은 구조를 뽑아 LLM이 읽을 수 있게 바꾸는 작업으로, RAG를 만들 때 가장 먼저 거치는 단계다. 여기서 표가 깨지거나 문장 순서가 뒤섞이면 뒤에서 아무리 좋은 모델을 써도 답이 틀리므로, 파싱 품질이 검색 정확도를 좌우한다.
벡터 DB Vector Database임베딩 벡터를 저장해 두고 의미가 가장 비슷한 항목을 빠르게 찾아 주는 데이터베이스로, 값이 정확히 일치하는 것을 찾는 일반 데이터베이스와 달리 뜻이 가까운 것을 찾는다. AI가 사내 문서를 참고해 답하는 RAG에서 검색 엔진으로 쓴다.
비정형 데이터 Unstructured Data비정형 데이터는 이메일, PDF 계약서, 회의 녹음, 리뷰처럼 행과 열로 정리되지 않은 데이터다. 기계가 읽기 어려워 오랫동안 문서 속에 묻혀 있었지만 LLM이 활용할 길을 열었고, RAG로 검색하고 활용하려면 먼저 AI가 다루기 좋은 형태로 바꿔야 한다.
시맨틱 캐시 Semantic Cache질문의 뜻이 예전 질문과 비슷하면 LLM을 다시 부르지 않고 저장해 둔 답을 돌려주는 캐시로, "환불 어떻게 해요?"와 "환불 절차 알려줘"처럼 문장이 달라도 같은 답을 다시 쓴다. 입력 문자열이 똑같아야 하는 일반 캐시와 달리 뜻으로 비교하므로, FAQ처럼 비슷한 질문이 자주 반복되는 서비스에서 비용과 응답 시간을 줄일 때 쓴다.
온톨로지 Ontology특정 분야에 어떤 개념이 있고 서로 어떤 관계인지 기계가 읽을 수 있게 적어 둔 규칙집이자, 사람과 프로그램이 같은 단어를 같은 뜻으로 쓰게 하는 공용 어휘집이다. 실제 데이터를 담는 지식 그래프와 달리 그 틀(스키마)에 해당하며, 지식 그래프를 설계하거나 LLM이 문서에서 그래프를 뽑을 때 기준으로 쓴다.
임베딩 Embedding텍스트·이미지·코드를 숫자 목록(벡터)으로 바꾸는 기술로, 뜻이 비슷할수록 벡터끼리 가까워져 겹치는 글자가 없어도 같은 뜻의 문서를 찾을 수 있다. 키워드가 아니라 뜻으로 찾아야 할 때 쓰며, RAG 검색, 추천, 중복 문서 찾기가 모두 이 원리로 돌아간다.
지식 그래프 Knowledge Graph사람·회사·제품 같은 대상을 점(노드)으로, 그 사이 관계를 선(엣지)으로 저장한 데이터베이스로, "A가 세운 회사가 만든 제품은?"처럼 관계를 여러 단계 따라가야 답이 나오는 질문에 쓴다. AI에서는 RAG 검색을 더 정확하게 하거나 LLM 답변을 사실로 받쳐 주는 데 쓴다.
청킹 Chunking청킹은 긴 문서를 벡터 DB에 넣기 전에 검색하기 좋은 작은 조각으로 쪼개는 전처리로, RAG를 만들 때 반드시 거치는 단계다. 어떻게 자르느냐가 검색 품질의 상한선을 정한다.
컨텍스트 압축 Context CompressionLLM에 넣을 긴 대화 이력이나 문서에서 지금 필요한 정보만 남기고 나머지는 요약하거나 덜어내는 기법이다. 대화가 계속 길어지는 에이전트나 검색해 온 문서가 너무 긴 RAG에서 비용을 줄이고 답의 정확도를 지키려고 쓴다.
하이브리드 검색 Hybrid Search하이브리드 검색은 단어가 똑같은 문서를 찾는 키워드 검색(BM25)과 뜻이 비슷한 문서를 찾는 벡터 검색을 함께 돌려 결과를 합치는 방식이다. RAG가 모델명·에러코드 같은 정확한 단어나 바꿔 말한 질문을 놓쳐 엉뚱한 문서를 가져올 때 가장 먼저 시도해 볼 만한 개선책이다.
합성 데이터 Synthetic Data실제로 모은 데이터 대신 AI나 알고리즘으로 새로 만든 데이터로, 실제 데이터의 패턴은 닮게 만들되 원본의 개인정보는 담지 않는다. 데이터가 모자랄 때, 개인정보 때문에 원본을 쓰기 어려울 때, 드문 사례를 늘려야 할 때 실제 데이터를 보태는 학습 데이터로 쓴다.
RAG Retrieval-Augmented GenerationLLM이 답하기 전에 외부 문서나 DB에서 관련 내용을 찾아 프롬프트에 넣어 주는 기술로, 모델에게 오픈북 시험을 보게 하는 방식이다. 바뀐 사내 규정이나 회사 DB에만 있는 정보처럼 모델이 배우지 못한 내용을 근거와 함께 답하게 하고, 지어내는 답(환각)을 줄이고 싶을 때 쓴다.