AI Wiki · 분야별 키워드

인프라

AI 시스템을 실제로 안정적으로 굴리려면 뒷단의 기반이 필요합니다. 데모에서는 잘 되던 것이 실서비스에서 무너지는 이유는 대부분 이 계층에 있습니다. 모델이 한 번에 기억할 수 있는 양을 정하는 컨텍스트 윈도우, 응답 품질을 수치로 검증하는 평가(Eval), 같은 질문에 대한 비용을 아끼는 프롬프트 캐싱, 여러 모델을 하나의 창구로 묶는 LLM 게이트웨이가 대표 개념입니다. GPU 클러스터·배치 추론·레이턴시 최적화처럼 서빙 성능에 관한 용어, 관측가능성·트레이싱처럼 운영 품질에 관한 용어까지, 운영과 확장에 관한 개념들을 모았습니다.

내구성 실행 Durable Execution내구성 실행(Durable Execution)은 코드가 도는 동안 단계마다 결과를 저장해 두고, 프로세스가 죽어도 처음부터 다시 돌리지 않고 마지막으로 끝낸 단계부터 이어서 실행하는 방식이다. 진행 상황 기록과 재시도를 엔진이 대신 맡아 주기 때문에, 결제나 오래 걸리는 워크플로우, AI 에이전트처럼 중간에 끊기면 안 되는 작업에 쓴다.
딥인퍼 DeepInfer (DeepSeek Inference Framework)딥시크가 자사 API 뒤에서 DeepSeek V4.1 Flash를 서빙하던 추론 프레임워크를 Apache-2.0으로 공개한 것이다. V4.1 Flash를 내 GPU·NPU 클러스터에서 딥시크와 같은 최적화로 돌리고 싶을 때 쓰는데, 오프라인 추론 엔진이라 온라인 서비스에 필요한 부품 일부는 직접 채워야 한다.
라마파일 llamafileLLM 모델 가중치와 실행 엔진(llama.cpp)을 파일 하나로 묶은 Mozilla의 오픈소스 도구로, Python 환경이나 의존성 설치 없이 파일만 받아 실행하면 내 컴퓨터에서 AI를 돌릴 수 있다. 로컬 LLM을 처음 써 보거나 인터넷 없는 곳에 모델을 들고 가야 할 때 쓴다.
런에이아이 NVIDIA Run:ai (Kubernetes GPU Orchestration)쿠버네티스 위에서 여러 팀이 GPU를 나눠 쓰게 해 주는 엔비디아의 GPU 오케스트레이션 플랫폼이다. 노트북 실험, 학습, 추론 작업이 같은 GPU 클러스터를 두고 경쟁할 때 누가 언제 얼마나 쓸지를 스케줄러가 자동으로 정한다.
레이턴시 최적화 Latency OptimizationLLM이 답을 빨리 시작하고 빨리 끝내게 만드는 방법 모음으로, 첫 글자가 나오기까지의 시간과 답을 끝내기까지의 시간을 줄인다. 채팅, 음성 비서, 자동완성처럼 사용자가 화면 앞에서 답을 기다리는 서비스라면 꼭 챙겨야 한다.
모델 서빙 Model Serving모델 서빙은 학습된 모델을 GPU 서버에 올리고 API로 열어 많은 요청에 실시간으로 답하게 하는 일로, 핵심은 응답 속도, 처리량, 비용의 균형을 맞추는 것이다. 상용 API 대신 오픈 모델을 쓰거나 데이터를 밖으로 보낼 수 없을 때 직접 운영한다.
배치 추론 Batch Inference급하지 않은 LLM 요청을 많이 모아 한꺼번에 맡기고 결과는 나중에(최대 24시간) 받는 대신, 요금을 온디맨드의 절반 정도로 낮추는 방식이다. 문서 분류·대량 번역·야간 리포트처럼 바로 답이 필요 없는 대량 작업에 쓴다.
벤치마크 Benchmark벤치마크는 AI 모델에게 같은 문제를 풀게 해 점수로 성능을 비교하는 표준 시험으로, 새 모델 발표 자료나 리더보드에서 어느 모델이 나은지 빠르게 가늠할 때 쓴다. 벤치마크마다 재는 능력이 다르므로 내가 맡길 일과 맞는 벤치마크를 골라 봐야 하고, 실제로 도입하기 전에는 내 업무로 만든 평가로 다시 확인한다.
비용 최적화 LLM Cost OptimizationLLM API 비용을 답의 품질은 그대로 두고 줄이는 방법들이다. 비용을 정하는 입력 토큰, 출력 토큰, 호출 횟수 중 어디에 돈이 많이 드는지 먼저 보고, 프롬프트 캐싱·모델 라우팅·배치 처리·토큰 줄이기를 상황에 맞게 섞어 쓴다.
스트리밍 Token StreamingLLM이 답을 다 만들기 전에 토큰이 나오는 대로 바로 보내 주는 방식으로, ChatGPT 화면에서 글자가 타이핑되듯 나오는 게 바로 이것이다. 사람이 화면으로 읽는 채팅·글쓰기 도구라면 켜 두는 게 기본이고, 볼 사람이 없는 백엔드 일괄 처리에는 쓸 이유가 없다.
에비던스 게이트 Evidence GateAI 에이전트가 만든 코드를 다음 단계로 넘기기 전에, 에이전트에게 보이지 않는 기준으로 서버에서만 평가하는 검문소다. AI가 코드와 테스트를 함께 쓰는 파이프라인에서 AI가 통과 기준에만 맞춰 점수를 따는 일을 막을 때 쓴다.
연속 배칭 Continuous BatchingLLM 서버가 여러 요청을 묶어 처리하다가 하나가 끝나는 즉시 그 자리에 대기 중인 새 요청을 넣는 스케줄링 방식이다. 배치 전체가 끝날 때까지 기다리는 정적 배칭과 달리 GPU를 쉬지 않게 해, 길이가 제각각인 요청이 몰리는 챗봇·API 서비스에서 처리량을 크게 높일 때 쓴다.
온디바이스 AI On-Device AIAI 모델을 클라우드 서버가 아니라 스마트폰·노트북 안에서 직접 실행하는 방식으로, 인터넷 없이도 돌아가고 데이터가 기기 밖으로 나가지 않는다. 개인 정보를 다루거나 바로바로 반응해야 하는 기능에 쓰고, 큰 모델이 필요한 어려운 작업은 클라우드가 맡는다.
옵저버빌리티 LLM ObservabilityLLM 앱이 호출할 때마다 입력 프롬프트, 응답, 걸린 시간, 비용, 에러를 기록하고, 여러 단계로 도는 에이전트 실행은 트리로 펼쳐 보여주는 시스템이다. 에러 없이 틀린 답이 나오거나 에이전트가 중간에 꼬였을 때 그 답이 왜 나왔는지 거꾸로 따라가 원인을 찾는 데 쓴다. LLM 앱을 실제 사용자에게 내놓을 때부터 필요하다.
추론 최적화 Inference Optimization추론 최적화는 이미 학습된 LLM은 그대로 두고, 답을 만들 때 더 빠르고 싸게 돌아가게 하는 기술을 통틀어 부르는 말이다. 모델을 직접 띄워 서비스하거나 로컬에서 돌릴 때 메모리를 아끼고 GPU가 노는 시간을 줄이려고 양자화, 추측적 디코딩, KV 캐시 최적화, 배치 처리를 함께 쓴다.
컨텍스트 윈도우 Context Window컨텍스트 윈도우는 LLM이 한 번에 볼 수 있는 작업 기억의 크기로, 입력과 출력을 합친 토큰 수의 상한선이며 이 범위를 벗어난 내용은 모델에게 없는 것과 같다. 긴 문서나 코드베이스를 통째로 맡기거나 긴 대화를 이어갈 때는 이 한도와 함께 실제로 품질이 유지되는 길이를 따져 봐야 한다.
텐서 병렬화 Tensor Parallelism모델의 큰 가중치 행렬을 쪼개 한 층의 계산을 같은 서버 안 GPU 여러 장이 나눠 맡게 하는 분산 기법이다. GPU 한 장에 다 안 들어가는 큰 모델을 학습하거나 서빙할 때 쓰며, 층을 나누는 파이프라인 병렬화나 데이터를 나누는 데이터 병렬화와 섞어 쓴다.
토큰 경제학 Token EconomicsAI가 읽고 쓰는 토큰을 돈처럼 관리하는 관점으로, 사용량을 재고 줄이고 예산을 짠다. 토큰 단가는 내려가도 에이전트가 쓰는 양이 훨씬 빠르게 늘어 청구액은 오히려 커지므로, 코딩 에이전트처럼 토큰을 많이 쓰는 작업에서 어떤 모델로 얼마나 쓰는지를 비용 항목처럼 따질 때 쓴다.
토큰 예산 Token Budget토큰 예산은 Claude의 확장 사고나 OpenAI o 시리즈 같은 추론 모델이 답하기 전에 속으로 생각하는 데 쓸 수 있는 토큰의 최대치를 정하는 설정이다. 크게 잡을수록 어려운 문제를 더 정확히 풀지만 느리고 비싸지므로, 어려운 문제에는 크게, 단순한 작업에는 작게 잡아 답의 품질과 비용·속도를 맞출 때 쓴다.
토큰맥싱 Tokenmaxxing토큰맥싱은 AI 토큰을 많이 쓸수록 일을 잘한 것으로 보고 사용량을 일부러 늘리는 행동이다. 빅테크가 사내 리더보드로 AI 활용을 독려하면서 생긴 직장 문화 현상으로, 토큰 낭비를 꼬집는 말로도, AI를 적극적으로 쓰는 행동을 가리키는 말로도 쓰인다.
파일럿피시 PilotfishPilotFish는 서로 다른 시스템 사이에서 데이터를 받아 형식을 바꾸고 알맞은 곳으로 보내 주는 데이터 통합 플랫폼이다. 레거시 시스템이나 의료 시스템처럼 고치기 어려운 시스템을 새 AI 서비스와 이을 때, 양쪽은 그대로 두고 그 사이에 연결 레이어로 넣어 쓴다.
펠리컨 벤치마크 Pelican on a Bicycle Benchmark사이먼 윌리슨이 만든 비공식 LLM 테스트로, "자전거 타는 펠리컨 SVG를 그려라" 한 줄을 여러 모델에 똑같이 넣고 점수 없이 그림을 눈으로 비교한다. 새 모델이 나오면 코드 생성 능력과 공간 감각을 빠르게 훑어보는 가벼운 첫인상 테스트로 쓴다.
프로토콜 전쟁 AI Protocol WarsAI 에이전트를 도구에 연결하고 에이전트끼리 대화하게 하는 표준을 두고 MCP·A2A·ACP가 벌인 경쟁이다. 한쪽이 이긴 게 아니라 도구 연결은 MCP, 에이전트끼리의 통신은 A2A로 역할이 나뉘었고, 에이전트를 만들 때 무엇을 쓸지 고르는 기준이 된다.
프롬프트 캐싱 Prompt Caching매번 똑같이 보내는 긴 프롬프트 앞부분(시스템 프롬프트, 문서, 코드베이스)을 서버가 잠시 저장해 두고, 다음 요청에서 다시 계산하지 않고 꺼내 쓰는 기능이다. 같은 컨텍스트를 반복해서 보내는 챗봇·코딩 에이전트에서 입력 비용과 첫 응답 지연을 크게 줄일 때 쓴다.
픽스파이프 PxPipe (Image-Based Token Compression)이미지를 비전-언어 모델(VLM)에 넣을 때 생기는 시각 토큰 수를 줄여 비용과 응답 시간을 낮추는 압축 파이프라인이다. 겹치는 영역과 프레임을 걸러 필요한 정보만 남기므로, 고해상도 이미지나 긴 영상, 긴 문서를 컨텍스트에 넣어야 할 때 쓴다.
AI 칩 AI Custom ChipAI 칩은 AI 모델의 학습과 추론에 필요한 대규모 행렬 계산만 빠르고 싸게 처리하도록 만든 AI 전용 반도체로, 무엇이든 하는 CPU보다 이 일을 훨씬 빠르고 싸게 한다. 개발자는 칩을 직접 사지 않고 클라우드에서 GPU 대신 TPU나 Trainium 같은 인스턴스를 고르는 방식으로 쓴다.
AI 평가 EvaluationAI 모델이나 서비스를 미리 만든 시험지로 채점해 '좋아진 것 같다'는 느낌을 숫자로 바꾸는 작업이다. 프롬프트나 모델을 바꿀 때마다 같은 시험지를 다시 돌려 어디서 점수가 오르고 떨어졌는지 확인한다. 테스트 코드와 역할은 같지만, 같은 입력에도 출력이 달라지고 정답이 하나가 아닐 때가 많아 더 까다롭다.
AI API 게이트웨이 AI API Gateway앱과 여러 LLM 공급자 사이에 두는 단일 진입점이다. 앱은 주소 하나로만 요청을 보내고, 라우팅·폴백·캐싱·비용 통제는 게이트웨이가 한곳에서 처리한다. 모델을 두 개 이상 쓰거나 여러 팀이 LLM API를 나눠 쓰기 시작할 때 필요해진다.
GPU 클러스터 GPU ClusterGPU 클러스터는 수십에서 수천 개의 GPU를 빠른 네트워크로 묶어 하나처럼 쓰는 컴퓨팅 인프라로, GPU 한 대에 올라가지 않는 대형 모델을 여러 GPU에 나눠 싣고 함께 계산할 때 쓴다. 작은 모델 추론이나 LoRA 파인튜닝은 GPU 한 대나 서버 한 대로 충분하고, 클러스터는 LLM 사전학습이나 대형 모델 전체 학습처럼 규모가 클 때 필요하다.
LLMOpsLLMOps는 LLM을 쓰는 앱을 개발·배포·운영하면서 프롬프트 버전, 응답 품질, 토큰 비용을 관리하는 방법이다. 프롬프트 한 줄만 바꿔도 동작이 달라지는 LLM 앱을 시제품을 넘어 실제 사용자에게 서비스할 때 본격적으로 필요하다.
MLOpsMLOps는 소프트웨어 개발의 DevOps 방식을 머신러닝에 가져와, 모델의 개발·배포·모니터링을 자동화하고 표준화하는 방법론이다. 모델을 한 번 만들고 끝내지 않고 서비스에 올린 뒤에도 계속 재학습하고 배포해야 할 때 쓴다.
vLLMvLLM은 오픈소스 LLM을 GPU 서버에 올려 여러 사용자가 동시에 쓰는 OpenAI 호환 API로 만들어 주는 서빙 엔진이다. 혼자 노트북에서 돌릴 때보다 팀이나 서비스가 같은 모델에 요청을 몰아 보낼 때 효과가 크다.