AI Wiki · 분야별 키워드
인프라
AI 시스템을 실제로 안정적으로 굴리려면 뒷단의 기반이 필요합니다. 데모에서는 잘 되던 것이 실서비스에서 무너지는 이유는 대부분 이 계층에 있습니다. 모델이 한 번에 기억할 수 있는 양을 정하는 컨텍스트 윈도우, 응답 품질을 수치로 검증하는 평가(Eval), 같은 질문에 대한 비용을 아끼는 프롬프트 캐싱, 여러 모델을 하나의 창구로 묶는 LLM 게이트웨이가 대표 개념입니다. GPU 클러스터·배치 추론·레이턴시 최적화처럼 서빙 성능에 관한 용어, 관측가능성·트레이싱처럼 운영 품질에 관한 용어까지, 운영과 확장에 관한 개념들을 모았습니다.
- 라마파일 llamafileLLM 모델과 실행 엔진을 하나의 파일로 패키징해서, 설치 없이 더블클릭만으로 로컬에서 AI를 돌릴 수 있게 만든 Mozilla의 오픈소스 도구.
- 레이턴시 최적화 Latency OptimizationLLM 응답의 첫 토큰까지 걸리는 시간(TTFT)과 전체 생성 시간을 줄이는 기술 모음. 캐싱, 추측적 디코딩, 모델 최적화, 배포 지역 최적화 등이 포함된다.
- 모델 서빙 Model Serving학습된 LLM을 실제 사용자 요청에 응답하도록 배포하고 운영하는 인프라. 지연 시간, 처리량, 비용의 균형을 맞추는 게 핵심 과제다.
- 배치 추론 Batch Inference실시간 응답 없이 대량의 입력을 모아 한꺼번에 처리하는 LLM 추론 방식. 속도보다 처리량과 비용 효율이 중요한 오프라인 워크로드에 적합하다.
- 벤치마크 BenchmarkLLM의 성능을 객관적으로 측정하고 비교하기 위한 표준화된 테스트 세트. MMLU, HumanEval, MATH 등이 대표적이며 모델 선택의 기준이 된다.
- 비용 최적화 LLM Cost OptimizationLLM API 호출 비용을 줄이는 전략. 프롬프트 캐싱, 모델 라우팅, 배치 처리, 토큰 절약 등을 조합해 품질을 유지하면서 비용을 낮춘다.
- 스트리밍 Token StreamingLLM이 응답 전체를 완성하기 전에 생성되는 토큰을 실시간으로 전송하는 방식. 사용자가 첫 토큰이 나오는 시점부터 결과를 볼 수 있어 체감 응답속도가 크게 향상된다.
- 에비던스 게이트 Evidence GateAI 에이전트가 코드와 테스트를 모두 작성하는 환경에서, 품질 기준을 에이전트에게 노출하지 않고 서버 측에서만 평가하는 파이프라인 게이트. AI가 통과 기준을 역으로 최적화하지 못하도록 막는 풀스택 거버넌스 메커니즘이다.
- 연속 배칭 Continuous BatchingLLM 서빙에서 완료된 요청을 즉시 새 요청으로 교체해 GPU를 쉬지 않고 활용하는 스케줄링 기법. 기존 정적 배칭 대비 처리량을 수십 배 높인다.
- 온디바이스 AI On-Device AI클라우드가 아닌 스마트폰, 노트북, IoT 기기에서 직접 AI 모델을 실행하는 방식. 네트워크 없이도 작동하고 데이터가 기기 밖으로 나가지 않아 프라이버시가 보장된다.
- 옵저버빌리티 LLM ObservabilityLLM 애플리케이션의 내부 동작을 추적하고 이해할 수 있게 하는 시스템. 프롬프트·응답 로그, 체인 실행 추적, 성능 메트릭을 수집해 문제를 진단한다.
- 추론 최적화 Inference Optimization학습된 LLM이 실제로 답변을 생성할 때 속도를 높이고 비용을 줄이는 기술들의 총칭. 양자화, 추측적 디코딩, KV 캐시 최적화 등을 조합하면 모델을 바꾸지 않고도 3~10배 빠른 응답이 가능하다.
- 컨텍스트 윈도우 Context WindowLLM이 한 번에 처리할 수 있는 최대 토큰 수. 모델이 동시에 볼 수 있는 정보량의 상한선으로, 이 범위를 벗어난 내용은 참조할 수 없다.
- 텐서 병렬화 Tensor Parallelism모델의 가중치 행렬을 여러 GPU에 분할해 각 GPU가 행렬 연산의 일부를 담당하도록 하는 분산 학습 기법. 단일 GPU에 올리기 너무 큰 모델을 처리할 수 있게 한다.
- 토큰 경제학 Token EconomicsAI 모델이 처리하는 토큰을 비용·생산성의 기본 단위로 보고, 소비량을 추적·최적화·예산화하는 경제적 프레임워크. 토큰 단가는 2년간 280배 떨어졌지만 에이전트 시대의 사용량 폭증으로 전체 비용은 오히려 급증하면서, 토큰을 어떻게 쓰느냐가 엔지니어링의 핵심 제약이 되고 있다.
- 토큰 예산 Token Budget추론 모델이 답을 생성하기 전에 얼마나 오래 "생각"할 수 있는지를 제한하는 파라미터. 응답 품질과 토큰 비용·지연 사이의 균형을 제어한다.
- 토큰맥싱 TokenmaxxingAI 토큰 사용량을 생산성의 지표로 삼아 소비를 극대화하려는 행동 패턴. 빅테크 기업들이 사내 리더보드로 AI 활용을 독려하면서 생겨난 직장 문화 현상이다.
- 파일럿피시 Pilotfish클라우드 서비스, 레거시 시스템, 의료기기 등 어떤 시스템이든 연결할 수 있는 데이터 통합 플랫폼으로, AI 서비스와 기존 엔터프라이즈 시스템을 잇는 통합 레이어로 활용된다.
- 프로토콜 전쟁 AI Protocol WarsAI 에이전트가 도구와 연결되고 서로 대화하는 방식을 두고, MCP·A2A·ACP 세 프로토콜이 표준 자리를 놓고 벌이는 경쟁과 수렴의 과정.
- 프롬프트 캐싱 Prompt Caching반복되는 긴 프롬프트 컨텍스트를 서버에 캐시해 다음 요청에서 재처리 없이 재사용하는 기능. 비용을 최대 90%, 지연을 최대 85% 줄인다.
- 픽스파이프 PxPipe (Image-Based Token Compression)이미지의 픽셀 표현을 활용해 비전-언어 모델의 시각 토큰 수를 줄이는 압축 파이프라인. 고해상도 이미지나 영상을 처리할 때 컨텍스트 비용과 추론 레이턴시를 낮추기 위해 쓴다.
- AI 평가 EvaluationAI 모델이나 시스템의 성능과 품질을 체계적으로 측정하는 프로세스. "잘 되는 것 같다"가 아니라 수치로 증명하기 위한 과정이다.
- AI API 게이트웨이 AI API Gateway여러 LLM 공급자에 대한 요청을 중앙에서 관리하며 라우팅, 폴백, 비용 통제를 단일 레이어로 처리하는 인프라 컴포넌트다.
- GPU 클러스터 GPU Cluster대규모 AI 학습과 추론을 위해 수십~수천 개의 GPU를 네트워크로 연결한 컴퓨팅 인프라. LLM 사전학습의 필수 기반이다.
- LLMOpsLLM 기반 애플리케이션의 개발·배포·모니터링을 위한 운영 방법론. 프롬프트 버전 관리, LLM 평가, 비용 추적 등 LLM 특유의 과제를 다룬다.
- MLOps머신러닝 모델의 개발·배포·모니터링을 자동화하고 표준화하는 실천 방법론. ML과 DevOps를 결합해 모델의 생산 배포를 안정적으로 만든다.
- vLLMPaged Attention 기법으로 KV 캐시를 효율적으로 관리해 LLM 서빙 처리량을 대폭 높인 오픈소스 프레임워크. 현재 사실상의 표준 LLM 서빙 엔진이다.