AI Wiki · 분야별 키워드
모델
GPT·Claude·Gemini 같은 대규모 언어 모델은 AI의 "두뇌"에 해당합니다. 이 분야의 용어는 크게 세 갈래입니다. 모델이 글을 이해하고 생성하는 원리(트랜스포머, 어텐션, 토큰), 모델을 만들고 다듬는 과정(사전학습, 파인튜닝, RLHF, LoRA), 그리고 모델을 가볍고 빠르게 만드는 기술(양자화, 증류, MoE)입니다. LLM 항목에서 출발해 트랜스포머로 내려가면 뉴스에서 스치던 용어들이 하나의 이야기로 연결됩니다. 멀티모달·추론 모델처럼 최근 모델들이 어디로 진화하고 있는지 보여주는 키워드도 함께 모았습니다.
- 강화학습 Reinforcement Learning에이전트가 환경과 상호작용하며 보상을 최대화하도록 행동 정책을 학습하는 방법. LLM 정렬(RLHF, GRPO)과 추론 모델 학습의 핵심 원리다.
- 경사 하강법 Gradient Descent손실 함수를 최소화하기 위해 기울기(gradient) 반대 방향으로 파라미터를 조금씩 조정하는 최적화 알고리즘. AI 학습의 근본 메커니즘이다.
- 과적합 Overfitting모델이 훈련 데이터에 너무 맞게 학습되어 새로운 데이터에서 성능이 나빠지는 현상. AI 모델이 "외운 것"과 "이해한 것"을 구분하는 핵심 개념이다.
- 그래니트 IBM GraniteIBM이 기업용으로 만든 오픈소스 AI 모델 패밀리. 작고 효율적이면서도 라이선스가 깔끔해 회사가 마음 놓고 자체 서버에서 돌릴 수 있게 설계됐다.
- 그록 Grok (xAI)일론 머스크의 xAI가 만든 대규모 언어 모델이자 AI 챗봇. X(옛 트위터)와 웹을 실시간으로 검색해 지금 일어나는 일까지 답해주는 게 특징이다.
- 그록 4.5 Grok 4.5 (xAI)xAI가 Grok 4에 이어 선보인 프론티어 언어 모델로, 수학·과학·코드 분야의 추론 능력과 실시간 웹 검색을 강화했다.
- 네모트론 NVIDIA NemotronNVIDIA가 만든 오픈 모델 제품군으로, 가중치뿐 아니라 학습 데이터와 학습 레시피까지 공개해 누구나 AI 에이전트를 직접 만들고 튜닝할 수 있게 한 모델이다.
- 노바 2 Amazon Nova 2아마존이 직접 만든 차세대 멀티모달 모델 계열로, 텍스트·이미지·영상·음성을 한 번에 다루면서 "가격 대비 성능"을 앞세운 게 특징이다.
- 뉴로심볼릭 AI Neurosymbolic AI신경망의 학습 능력과 기호 논리의 추론 능력을 결합한 AI 접근법. 딥러닝이 잘하는 패턴 인식과 논리 체계가 잘하는 규칙 기반 추론을 하나로 합쳐, 더 정확하고 설명 가능한 AI를 만든다.
- 대규모 언어 모델 Large Language Model수백억 개의 파라미터로 학습한 딥러닝 모델. 텍스트 이해, 생성, 추론, 코드 작성 등 광범위한 작업을 수행하는 현재 AI 기술의 핵심이다.
- 디퓨전 모델 Diffusion Model노이즈를 점진적으로 제거하는 과정을 학습해 이미지·음성·영상을 생성하는 모델. Stable Diffusion, DALL-E 3, Sora 등 현재 생성 AI의 주류 아키텍처다.
- 딥러닝 Deep Learning여러 층의 신경망을 쌓아 데이터에서 복잡한 패턴과 표현을 자동으로 학습하는 기계학습 방법. 이미지 인식, 음성 인식, 자연어 처리의 혁명을 이끌었다.
- 딥시크 DeepSeek중국 AI 스타트업이 만든 오픈소스 대규모 언어 모델. Mixture of Experts 아키텍처로 GPT-4 대비 1/10 수준의 비용으로 학습하면서도 최상위 모델들과 대등한 추론 성능을 달성해, 오픈소스 LLM의 가능성을 증명했다.
- 딥시크 V4 DeepSeek V4중국 DeepSeek가 만든 오픈웨이트 대규모 언어 모델로, 100만 토큰의 긴 맥락을 아주 적은 비용으로 처리하면서 추론과 코딩, 에이전트 작업에서 최상위권 성능을 내는 게 특징이다.
- 라마 LlamaMeta가 공개한 오픈 웨이트 LLM 시리즈. 오픈소스 LLM 생태계의 기반이 되었으며 파인튜닝, 양자화, 모델 병합 연구의 주요 대상이다.
- 라마 4 Llama 4 (Meta)메타가 만든 오픈 웨이트 AI 모델 4세대로, 텍스트와 이미지를 함께 이해하고 처음으로 전문가 혼합(MoE) 구조를 적용해 적은 연산으로 큰 모델의 성능을 내도록 설계됐다.
- 레카 Reka텍스트뿐 아니라 이미지·영상·오디오를 한꺼번에 이해하도록 처음부터 통째로 학습된 멀티모달 모델 시리즈. DeepMind 출신 연구진이 세운 Reka AI가 만든다.
- 롱 컨텍스트 Long Context수십만~수백만 토큰을 한 번에 처리할 수 있는 LLM의 능력. 긴 코드베이스, 책 한 권, 긴 대화를 통째로 모델에 넣어 처리할 수 있게 해준다.
- 머신러닝 Machine Learning명시적 규칙 없이 데이터에서 패턴을 학습해 예측하는 AI 기술. 딥러닝과 LLM의 토대이자, 여전히 많은 실용적 문제에서 직접 쓰이는 도구다.
- 머큐리 Mercury (Inception Labs, Diffusion LLM)Inception Labs가 만든, 텍스트를 디퓨전 방식으로 생성하는 LLM. 단어를 왼쪽부터 하나씩 내뱉는 기존 모델과 달리 여러 토큰을 한꺼번에 만들어 내서 훨씬 빠르다.
- 멀티모달 Multimodal AI텍스트뿐 아니라 이미지, 음성, 영상 등 여러 형태의 데이터를 하나의 모델이 동시에 이해하고 처리하는 AI.
- 모델 병합 Model Merging서로 다르게 파인튜닝된 여러 모델의 가중치를 산술적으로 합쳐 새로운 모델을 만드는 기법. 추가 학습 없이 다양한 능력을 하나의 모델에 결합할 수 있다.
- 모델 증류 Model Distillation큰 모델(Teacher)의 지식을 작은 모델(Student)에게 전달해서, 훨씬 가볍고 저렴하면서도 비슷한 성능을 내는 모델을 만드는 기법.
- 미니맥스 MiniMax중국의 MiniMax가 만든 AI 모델 시리즈로, 100만 토큰을 다루는 오픈웨이트 코딩·에이전트 모델 M3와 음성·음악·영상 생성 모델까지 아우른다. 프론티어급 성능을 훨씬 싼 값에 쓸 수 있어 주목받는다.
- 미모 Xiaomi MiMo스마트폰 회사 샤오미가 만든 오픈소스 대규모 언어 모델 계열. 코딩과 에이전트 작업에 강하면서 비슷한 성능의 해외 모델보다 훨씬 싸서 주목받는다.
- 미모 v2.5 Xiaomi MiMo v2.5 Pro (UltraSpeed)샤오미가 만든 오픈소스 거대 언어 모델 시리즈로, 1조 파라미터 규모의 MoE 모델을 1M 토큰 컨텍스트로 돌린다. UltraSpeed 버전은 표준 GPU 한 노드만으로 초당 1,000 토큰 생성 속도를 처음으로 돌파해 화제가 됐다.
- 미스트랄 Mistral프랑스 스타트업 Mistral AI가 만든 오픈 웨이트 LLM 시리즈. 크기 대비 성능이 뛰어나 "작지만 강한 모델"의 대표 주자로 자리잡았다.
- 미스트랄 미디엄 3.5 Mistral Medium 3.5프랑스 Mistral AI가 내놓은 첫 플래그십 통합 모델로, 지시 따르기·추론·코딩을 하나의 모델에 합쳐 에이전트 작업과 코딩에 강하다.
- 보상 모델 Reward ModelLLM 응답의 품질을 수치로 평가하는 모델. RLHF에서 인간 선호도를 학습해 이후 강화학습의 보상 신호로 활용된다.
- 비전-언어 모델 Vision-Language Model이미지와 텍스트를 함께 이해하고 생성하는 모델. 이미지를 보고 설명하거나, 이미지 속 정보를 바탕으로 질문에 답하는 등 시각과 언어를 연결한다.
- 사전학습 Pretraining방대한 텍스트 데이터로 언어의 기본 패턴과 지식을 학습하는 단계. 파인튜닝 이전에 모델의 기본 역량을 만드는 과정으로, LLM 개발 비용의 대부분을 차지한다.
- 상태 공간 모델 State Space Model시퀀스를 선형 시간에 처리하는 모델 아키텍처. Transformer의 이차 복잡도 어텐션을 대체할 수 있는 구조로, 긴 시퀀스 처리에서 특히 효율적이다.
- 생성형 AI Generative AI텍스트, 이미지, 음악, 코드 등 새로운 콘텐츠를 만들어내는 AI 기술의 총칭. 단순히 분류하거나 예측하는 AI를 넘어 "창작"하는 AI다.
- 소형 언어 모델 Small Language Model수십억 개 이하의 파라미터를 가진 소형 언어 모델. 모바일·엣지 기기에서 실행 가능하고, 특정 도메인에서 대형 모델에 준하는 성능을 낸다.
- 손실 함수 Loss Function모델의 예측이 실제 정답과 얼마나 다른지를 수치로 표현하는 함수. 이 숫자를 최소화하는 방향으로 가중치를 조정하는 것이 학습의 핵심이다.
- 스케일링 법칙 Scaling Law모델 크기, 학습 데이터 양, 컴퓨팅 자원을 늘릴수록 AI 성능이 예측 가능하게 향상된다는 법칙. GPT-3부터 현재 대형 모델까지 AI 개발의 핵심 원리로 작동해왔다.
- 스테이블 디퓨전 Stable DiffusionStability AI가 공개한 오픈소스 텍스트-이미지 생성 모델. 오픈 웨이트 덕분에 커뮤니티 생태계가 폭발적으로 성장해 이미지 생성 AI의 대중화를 이끌었다.
- 스텝 3.7 Step 3.7 Flash (StepFun)중국 StepFun이 공개한 198B 규모의 멀티모달 오픈웨이트 모델로, 토큰당 11B 파라미터만 켜서 빠른 속도와 저렴한 비용으로 코딩 에이전트와 도구 호출 작업을 처리하도록 만들어졌다.
- 시계열 파운데이션 모델 Time-Series Foundation Model대규모 시계열 데이터로 사전 학습해, 별도 훈련 없이 다양한 도메인의 미래 값을 예측하는 특화 파운데이션 모델. LLM이 언어를 범용으로 이해하듯, 시계열의 패턴을 범용으로 이해한다.
- 시드 2.0 ByteDance Seed 2.0틱톡을 만든 바이트댄스가 내놓은 LLM 계열로, 일상 대화부터 코딩·복잡한 실무 작업까지 대규모 서비스 환경에서 안정적으로 처리하도록 다듬은 모델이다.
- 신경망 Neural Network인간 뇌의 신경 연결 구조에서 영감을 받아 만든 머신러닝 모델. 층(layer)을 쌓아서 복잡한 패턴을 학습하는 딥러닝의 기반이다.
- 양자화 Quantization모델 가중치를 32비트 부동소수점에서 8비트, 4비트 정수 등 낮은 정밀도로 변환해 메모리와 연산 비용을 줄이는 기법. 큰 모델을 소비자 장치에서 실행할 수 있게 한다.
- 어텐션 메커니즘 Attention Mechanism입력 시퀀스에서 어느 부분에 집중할지를 동적으로 결정하는 메커니즘. Transformer의 핵심 원리로, LLM이 문맥을 이해하는 방식 자체를 바꿨다.
- 어텐션 헤드 Attention HeadTransformer에서 입력 시퀀스의 서로 다른 위치 간 관계를 학습하는 단위. 여러 헤드가 병렬로 동작해서 단어 간 다양한 관계를 동시에 포착한다.
- 에이온 3.0 Aion-3.0 (AionLabs)AionLabs가 만든 롤플레이·스토리텔링 특화 언어 모델. GLM 패밀리를 기반으로 여러 전문 모델이 협업해 한 응답을 생성하는 다중 모델 시스템이다.
- 에이온 3.0 미니 Aion-3.0-Mini (AionLabs)Aion 3.0의 경량 버전. 협업 생성 구조와 롤플레이 특화 능력은 유지하면서 비용을 풀 모델 대비 약 1/4 수준으로 낮췄다.
- 엔그램 Engram (Evidence-Based Learning Engine)뇌의 기억 흔적(engram) 개념에서 착안해, 지식을 컨텍스트 창이나 RAG에 의존하지 않고 모델 가중치에 직접 학습시켜 내면화하는 AI 메모리 패러다임이다.
- 역전파 Backpropagation신경망에서 예측 오차를 출력층에서 입력층 방향으로 전파해서 각 파라미터의 기여도를 계산하는 알고리즘. 딥러닝 학습의 핵심 메커니즘이다.
- 연합학습 Federated Learning데이터를 한 곳에 모으지 않고 각 기기나 서버에서 로컬로 학습한 뒤 모델 업데이트만 공유하는 분산 학습 방식. 데이터 프라이버시를 보장하면서 AI를 학습시키는 핵심 기술이다.
- 오픈 웨이트 Open Weights모델의 가중치를 공개해 누구나 다운로드·수정·배포할 수 있게 한 모델 배포 방식. Llama, Mistral, Gemma가 대표적이며 AI 생태계의 저변을 넓히고 있다.
- 오픈소스 LLM Open Source LLM모델 가중치가 공개되어 누구나 다운로드해서 로컬에서 실행하고 수정할 수 있는 대규모 언어 모델. 상용 API에 의존하지 않고 자체 인프라에서 AI를 운영할 수 있게 해준다.
- 온도 TemperatureLLM이 다음 토큰을 선택할 때 확률 분포의 날카로움을 조절하는 파라미터. 낮으면 예측 가능하고 정확하게, 높으면 다양하고 창의적으로 응답한다.
- 월드 모델 World ModelAI가 세상이 어떻게 돌아가는지를 내부에 시뮬레이션으로 담아, 어떤 행동을 하면 환경이 어떻게 바뀔지 예측하는 모델. 로봇·자율주행처럼 현실에서 일일이 시도해볼 수 없는 일을 머릿속으로 미리 굴려보게 해준다.
- 위스퍼 WhisperOpenAI가 공개한 범용 음성 인식 모델. 68만 시간의 다국어 데이터로 학습되어 잡음 환경에서도 높은 정확도를 보이며, 음성→텍스트 변환의 사실상 표준이 됐다.
- 인공 일반 지능 Artificial General Intelligence특정 분야가 아니라 인간처럼 어떤 과제든 스스로 학습하고 해결할 수 있는 AI. 현재 AI 연구의 궁극적 목표로 여겨진다.
- 인스트럭션 튜닝 Instruction Tuning사전학습된 모델이 사람의 지시를 따르도록 (지시문, 답변) 쌍으로 추가 학습시키는 과정. 이 과정 없이는 LLM이 질문에 답하지 않고 텍스트를 그냥 이어쓴다.
- 인컨텍스트 러닝 In-Context Learning모델 가중치를 수정하지 않고 프롬프트 안에 예시와 지시만 제공해 LLM이 새 작업을 즉시 수행하게 하는 능력으로, 파인튜닝 없이 다양한 용도에 적용하는 핵심 기법이다.
- 자기 지도 학습 Self-Supervised Learning정답 라벨 없이 데이터 자체에서 학습 신호를 만들어내는 방법. LLM의 "다음 토큰 예측"이 대표적 자기 지도 학습으로, 수십억 개의 레이블 없는 텍스트를 그대로 학습 데이터로 쓸 수 있다.
- 자연어 처리 Natural Language Processing컴퓨터가 인간의 언어를 이해하고 생성하는 기술 분야. LLM 등장 전부터 번역, 감성 분석, 정보 추출 등에 쓰였고, LLM이 NLP의 거의 모든 과제를 통합했다.
- 전이 학습 Transfer Learning한 태스크에서 학습한 지식을 다른 태스크에 재사용하는 머신러닝 방법론. 현대 LLM의 "사전학습 → 파인튜닝" 패러다임 전체가 전이 학습의 응용이다.
- 제미나이 GeminiGoogle DeepMind가 개발한 멀티모달 AI 모델 시리즈. 텍스트, 이미지, 오디오, 비디오를 네이티브로 처리하며 최대 1M 토큰의 롱 컨텍스트를 지원한다.
- 제미나이 3 프로 Gemini 3 Pro (Google)구글이 만든 Gemini 계열의 최상위 추론 모델로, 텍스트뿐 아니라 이미지·오디오·동영상·PDF·코드까지 한꺼번에 이해하고 100만 토큰의 긴 맥락을 다루는 데 쓴다.
- 제미나이 3.5 플래시 Gemini 3.5 Flash (Google)구글이 만든 가벼우면서도 똑똑한 멀티모달 모델로, Flash 특유의 빠른 속도를 유지하면서 코딩과 에이전트 작업에서 큰 플래그십 모델에 가까운 성능을 낸다.
- 젬마 GemmaGoogle DeepMind가 공개한 오픈 웨이트 경량 모델 시리즈. Gemini의 기술을 기반으로 하면서 로컬 실행과 파인튜닝이 가능한 크기로 제공한다.
- 젬마 4 Gemma 4 (Google)구글이 만든 오픈 웨이트 AI 모델로, 가중치를 공개해 누구나 자기 노트북이나 서버에 내려받아 무료로 돌릴 수 있다. 작은 크기부터 큰 크기까지 골라 쓰며, 클라우드 API 없이 로컬에서 AI를 쓰고 싶을 때 첫손에 꼽힌다.
- 지속 학습 Continual Learning새로운 데이터와 태스크를 순차적으로 학습하면서도 이전에 배운 지식을 잊지 않는 AI 학습 방식. 배포 후 가중치가 동결되는 현재 LLM의 한계를 넘어 인간처럼 평생 학습하는 AI를 만들기 위한 핵심 연구 분야다.
- 창발적 능력 Emergent Ability모델 규모가 특정 임계치를 넘어서면 이전에 없던 능력이 갑자기 나타나는 현상. 산술 계산, 다단계 추론 등이 소형 모델에서는 전혀 안 되다가 대형 모델에서 갑자기 가능해진다.
- 추론 모델 Reasoning Model최종 답변을 내놓기 전에 내부적으로 긴 사고 과정을 거치는 LLM. 수학 증명, 복잡한 코딩 문제처럼 단번에 답하기 어려운 과제에서 일반 모델보다 훨씬 높은 정확도를 보인다.
- 추론 시 연산 Test-Time Compute모델이 답을 생성하는 시점에 더 많은 연산을 투입해 성능을 높이는 패러다임. 학습 데이터나 파라미터를 늘리지 않고도 어려운 문제의 정확도를 올리는 새로운 스케일링 축이다.
- 추측적 디코딩 Speculative Decoding작은 드래프트 모델이 여러 토큰을 미리 예측하고, 큰 모델이 한 번에 검증해 처리 속도를 높이는 기법. 품질은 유지하면서 지연 시간을 크게 줄인다.
- 커맨드 A Command A (Cohere)Cohere가 만든 기업용 대규모 언어 모델로, GPU 두 장만으로 돌아가는 가벼운 몸집으로 도구 사용·RAG·다국어 작업을 잘 처리하도록 만들어졌다.
- 코코로 TTS Kokoro Text-to-Speech82M 파라미터만으로 대형 모델 수준의 자연스러운 음성을 합성하는 초경량 오픈소스 TTS 모델. 로컬 환경에서도 실시간보다 빠르게 돌아가서, 온디바이스 음성 합성의 가능성을 열었다.
- 큐원 QwenAlibaba Cloud가 개발한 오픈 웨이트 LLM 시리즈. 다국어 성능이 뛰어나고 코드, 수학, 멀티모달, TTS까지 다양한 변형을 공개하고 있다.
- 큐원3 맥스 Qwen3 Max (Alibaba)알리바바가 만든 큐원(Qwen) 계열의 최상위 대규모 언어 모델로, 약 1조 개의 파라미터를 가진 초대형 모델이다. 코딩과 추론, 다국어 처리에 강해서 미국 최상위 모델들과 경쟁하는 중국발 프론티어 모델로 꼽힌다.
- 클로드 소네트 4.6 Claude Sonnet 4.6 (Anthropic)Anthropic의 중급(Sonnet) 라인업을 전면 업그레이드한 모델로, 코딩과 컴퓨터 사용, 에이전트 작업에서 상위 모델인 Opus에 근접한 성능을 훨씬 저렴한 가격에 제공한다.
- 클로드 소네트 5 Claude Sonnet 5 (Anthropic)Anthropic의 Sonnet 시리즈 최신 모델로, Sonnet 가격에 Opus에 가까운 성능을 제공하도록 설계된 에이전트 특화 모델이다.
- 클로드 오퍼스 4.8 Claude Opus 4.8 (Anthropic)Anthropic이 2026년 5월 내놓은 Claude 계열 최상위 모델로, 코딩과 에이전트 작업에서 프론티어 성능을 내면서 자기 작업에 대해 더 정직하게 보고하는 것이 특징이다.
- 클로드 하이쿠 4.5 Claude Haiku 4.5 (Anthropic)앤트로픽의 가장 작고 빠른 클로드 모델로, 한 세대 전 중형 모델(Sonnet 4) 수준의 똑똑함을 1/3 비용과 훨씬 빠른 속도로 제공한다.
- 키미 Kimi (Moonshot AI)중국 스타트업 문샷 AI가 만든 챗봇이자 그 뒤에 있는 모델 시리즈로, 가중치를 공개한 오픈소스이면서도 코딩과 에이전트 작업에서 최상위권 성능을 내는 것으로 주목받는다.
- 텐센트 HY3 Tencent Hunyuan 3 (Hy3)텐센트가 2026년 4월 오픈소스로 공개한 295B 파라미터 MoE 모델. 쿼리당 21B 파라미터만 활성화해 비용 효율적으로 복잡한 추론, 코딩, 에이전트 작업을 처리한다.
- 토큰화 Tokenization텍스트를 LLM이 처리할 수 있는 최소 단위(토큰)로 쪼개는 과정. 어떻게 쪼개느냐에 따라 언어별 비용과 성능이 달라진다.
- 트랜스포머 Transformer2017년 구글이 발표한 셀프 어텐션 기반 신경망 아키텍처. 현재 GPT, Claude, Gemini 등 모든 LLM의 근간이다.
- 파라미터 Model Parameters신경망 학습을 통해 결정되는 가중치와 편향 값의 총칭. 파라미터 수가 모델의 "크기"를 나타내며, GPT-4는 수천억 개의 파라미터를 가진 것으로 추정된다.
- 파운데이션 모델 Foundation Model대규모 데이터로 사전학습되어 다양한 태스크에 파인튜닝이나 프롬프팅으로 적응할 수 있는 범용 모델. GPT-4, Claude, Llama가 대표적이다.
- 파인튜닝 Fine-Tuning사전 학습된 모델을 특정 도메인 데이터로 추가 학습시키는 기법. LoRA 덕분에 GPU 한 장으로도 가능해져서 접근성이 크게 낮아졌다.
- 퍼플렉시티 소나 Perplexity SonarPerplexity가 직접 만든 검색 특화 언어 모델로, 답변할 때 실시간으로 웹을 뒤져 출처가 달린 답을 빠르게 내놓는다.
- 포스트 트레이닝 Post-Training사전학습된 모델을 실제로 쓸 수 있는 어시스턴트로 만드는 전체 과정. SFT로 지시를 따르게 하고, RLHF/DPO로 인간 선호에 맞추는 파이프라인이다.
- 프론티어 모델 Frontier Model현재 AI 기술의 최전선에 있는 가장 강력한 대형 언어 모델. GPT-4, Claude 3, Gemini Ultra처럼 최고 수준의 능력을 보이는 모델을 가리킨다.
- 프루닝 Pruning모델의 중요도가 낮은 가중치나 뉴런, 레이어를 제거해 모델을 작고 빠르게 만드는 기법. 성능 저하를 최소화하면서 모델 크기를 줄인다.
- 플래시 어텐션 Flash Attention어텐션 계산을 GPU 메모리 구조에 맞게 재설계해 속도와 메모리 효율을 동시에 높인 알고리즘. 긴 컨텍스트 처리를 실용적으로 만든 핵심 기술이다.
- 활성화 함수 Activation Function신경망 각 뉴런의 출력을 결정하는 함수. 비선형성을 도입해서 신경망이 복잡한 패턴을 학습할 수 있게 하는 핵심 구성 요소다.
- 희소 어텐션 Sparse Attention모든 토큰끼리 다 비교하는 대신 중요한 일부 토큰만 골라 어텐션을 계산해, 긴 글을 훨씬 싸고 빠르게 처리하는 방법.
- BERT Bidirectional Encoder Representations from Transformers텍스트를 양방향으로 이해하도록 학습된 트랜스포머 인코더 모델. 생성보다는 이해와 분류에 특화되어, 검색·감성분석·NER 등의 기반이 됐다.
- DPO Direct Preference Optimization강화학습 없이 사람의 선호 데이터를 직접 학습해 모델을 정렬하는 방법. RLHF보다 훨씬 단순하고 안정적이면서 비슷한 성능을 낸다.
- FLUX FLUX (Black Forest Labs)Stable Diffusion 원개발자들이 만든 회사 Black Forest Labs의 텍스트-이미지 생성 모델. 글자가 또렷하게 박히는 고품질 이미지를 뽑고, 상당수 버전을 직접 내려받아 돌릴 수 있다.
- GAN Generative Adversarial Network두 신경망이 서로 경쟁하며 진짜 같은 가짜 데이터를 만들어내는 생성 모델. 이미지 생성, 스타일 변환, 데이터 증강 등 다양한 분야에서 쓰이며 생성형 AI의 토대가 된 핵심 기술이다.
- GLM GLM (Zhipu AI)중국 Zhipu AI(Z.ai)가 MIT 라이선스로 공개하는 오픈소스 대규모 언어 모델 계열로, 코딩과 에이전트 작업에서 최상위 폐쇄형 모델에 근접한 성능을 무료로 자체 호스팅할 수 있게 해준다.
- GLM 5.2 GLM 5.2 (Z.ai)Z.ai(구 Zhipu AI)가 개발한 오픈 웨이트 에이전틱 코딩 모델로, 744B 파라미터 MoE 구조와 1M 토큰 컨텍스트를 갖추고 장기 소프트웨어 엔지니어링 과제를 자율적으로 처리한다.
- GPT Generative Pre-trained TransformerOpenAI가 개발한 트랜스포머 기반 언어 모델 시리즈. 대규모 텍스트로 사전학습 후 다양한 언어 작업을 수행할 수 있음을 보여주며 현대 LLM 시대를 열었다.
- GPT-5.5 GPT-5.5 (OpenAI)OpenAI가 2026년 4월 공개한 플래그십 모델로, 복잡하고 여러 단계로 얽힌 실제 업무를 스스로 계획하고 도구를 쓰며 자기 결과를 검증해 끝까지 처리하도록 만들어졌다.
- GPT-5.6 GPT-5.6 Sol (OpenAI)OpenAI가 2026년 6월 공개한 최선단 모델 시리즈로, Sol·Terra·Luna 세 변형 중 Sol이 사이버보안·코딩·생물학 분야의 장기 에이전틱 작업에서 자사 최고 성능을 달성했다. 미국 정부 요청으로 일반 공개가 제한되어 소수의 신뢰 파트너에게만 프리뷰 형태로 제공됐다.
- GPT-5.6 Luna GPT-5.6 Luna (OpenAI)GPT-5.6 패밀리에서 가장 빠르고 비용 효율적인 모델로, Sol 대비 5배 저렴한 가격에 대규모 고용량 작업을 처리할 수 있다.
- GPT-5.6 Terra GPT-5.6 Terra (OpenAI)GPT-5.6 패밀리의 균형 모델로, 플래그십 Sol과 초저비용 Luna 사이에서 전문 업무를 충분히 처리하면서도 합리적인 비용을 제공한다.
- GRPO Group Relative Policy Optimization같은 질문에 대해 여러 응답을 샘플링하고 그룹 내 상대적 점수로 보상을 계산하는 RL 알고리즘. DeepSeek-R1에서 사용해 추론 모델 학습 방법으로 주목받았다.
- KV 캐시 KV Cache트랜스포머가 토큰을 생성할 때마다 이전 계산 결과를 재사용할 수 있도록 저장해두는 캐시. 반복 계산을 줄여 추론 속도를 크게 높인다.
- Laguna XS 2.1 Poolside Laguna XS 2.1Poolside가 개발한 33B MoE 코딩 특화 모델로, 토큰당 3B 파라미터만 활성화하면서 로컬 머신에서 에이전틱 코딩과 장기 작업을 처리한다.
- LoRA Low-Rank Adaptation모델 전체를 재학습하는 대신 적은 수의 파라미터만 학습해 특정 작업에 맞게 조정하는 파인튜닝 기법. 소비자급 GPU에서도 대형 모델을 파인튜닝할 수 있게 해줬다.
- MoE Mixture of Experts하나의 큰 모델 대신 여러 개의 전문가(expert) 네트워크를 두고, 입력에 따라 일부만 활성화하는 아키텍처. 전체 파라미터 수를 늘리면서도 실제 연산량은 줄여 효율적으로 모델을 스케일업할 수 있다.
- OLMo 3 OLMo 3 (AllenAI)비영리 연구소 AllenAI(Ai2)가 만든 '완전 공개' 언어 모델 패밀리로, 가중치뿐 아니라 학습 데이터와 코드, 중간 체크포인트까지 전부 열어 누구나 처음부터 다시 만들 수 있게 한 7B·32B 모델이다.
- Phi-4 Phi-4 (Microsoft)마이크로소프트가 만든 140억 파라미터급 소형 오픈 모델로, 작은 크기에도 수학·논리 같은 복잡한 추론을 잘하도록 합성 데이터로 훈련됐다.
- QLoRA Quantized LoRA4비트 양자화된 모델에 LoRA를 적용해 메모리를 극적으로 줄인 파인튜닝 기법. 24GB 이하 GPU에서 65B 이상의 대형 모델도 파인튜닝할 수 있게 해줬다.
- RLHF RL from Human Feedback인간의 선호도 피드백으로 LLM을 "유용하고 무해하게" 정렬하는 학습 기법. ChatGPT가 그냥 텍스트 생성기가 아니라 도움이 되는 어시스턴트인 이유다.
- SFT Supervised Fine-Tuning입력-출력 쌍으로 이루어진 라벨된 데이터로 사전학습 모델을 추가 학습하는 방법. RLHF나 DPO 이전 단계로, 모델이 원하는 형식과 스타일로 응답하도록 가르친다.