대규모 언어 모델

엄청난 양의 텍스트를 보며 다음에 올 토큰을 맞히도록 학습한 AI 모델로, 글쓰기·요약·번역·코드 작성처럼 글로 하는 대부분의 작업에 쓴다. 다만 최신 정보나 외부 작업은 혼자 못 해서 바깥에서 자료와 도구를 붙여 쓴다.

목표는 단순하지만 이걸 잘하려면 지식과 추론이 필요해서, 따로 가르치지 않은 번역·요약·코드 작성·수학 풀이 능력까지 함께 생겼다. GPT, Claude, Gemini, Llama가 모두 여기에 속한다.

쓰는 방법은 API 아니면 직접 서빙

API로 쓸 때는 시스템 프롬프트로 역할을 정하고, JSON 스키마로 출력 형식을 고정하며, 입력·출력 토큰 수만큼 돈을 낸다. Claude Code나 Cursor 같은 코딩 도구도 이 API 위에 파일 읽기·명령 실행 같은 도구를 얹은 것이다.

직접 서빙할 때는 Llama, Qwen, DeepSeek처럼 가중치가 공개된 모델을 내 서버에 올린다. 데이터를 밖으로 보낼 수 없거나 호출량이 많아 API 비용이 부담될 때 고른다.

토큰·컨텍스트·온도만 알면 다룰 수 있다

모델을 다룰 때 계속 나오는 기본 개념은 세 가지다. 한국어는 같은 내용도 영어보다 토큰을 많이 써서 비용이 더 나온다는 점을 기억해 두면 좋다.

답이 매번 달라지는 것도 확률 분포에서 토큰을 뽑기 때문이다. 일정한 답이 필요하면 온도를 낮게 둔다.

빈틈은 바깥에서 메운다

LLM은 모르는 것을 모른다고 하지 않고 그럴듯하게 지어내는 환각이 있다. 그래서 실제 앱은 모델 밖에서 빈틈을 채운다. 최신 정보나 사내 지식은 RAG로 찾아 넣고, 외부 시스템은 Tool Use나 MCP로 연결하고, 출력은 가드레일로 검사한다.

LLM을 '다 아는 존재'가 아니라 '넣어준 자료를 잘 처리하는 추론 엔진'으로 보고 필요한 자료를 직접 넣어주는 편이 실무에서 훨씬 잘 통한다.

크기보다 생각하는 시간으로

처음에는 모델을 키울수록 성능이 꾸준히 좋아진다는 스케일링 법칙에 따라 모두 덩치를 키웠다. 요즘은 필요한 부분만 켜서 비용을 줄이는 MoE 구조와, 답하기 전에 오래 생각하는 추론 모델 쪽으로 무게가 옮겨갔다. 경쟁하는 능력도 짧은 대화에서 도구를 써 가며 몇 시간짜리 작업을 혼자 끝내는 에이전트 능력으로 바뀌었다.

글을 다루는 거의 모든 곳에 들어간다

가장 흔한 건 채팅 앱에서 직접 대화하는 방식이고, 그다음은 API로 불러 다른 프로그램 안에 넣는 방식이다. 어느 쪽이든 필요한 자료와 도구를 함께 붙여 줄수록 결과가 좋아진다.