트랜스포머

2017년 구글 논문 Attention Is All You Need에서 나온 신경망 구조로, 예전 모델처럼 한 단어씩 차례로 읽지 않고 셀프 어텐션으로 문장 속 모든 단어가 서로를 한꺼번에 살펴본다. GPT·Claude·Gemini 같은 지금의 LLM이 모두 이 구조라서, 컨텍스트 길이 제한이나 토큰 요금이 왜 생기는지 알고 싶을 때 이해해 두면 좋다.

GPU로 나눠 학습하기 쉬운 덕분에 모델을 아주 크게 키울 수 있었고, 이것이 지금의 대형 LLM으로 이어졌다.

모든 단어가 서로를 본다

핵심 원리는 셀프 어텐션이다. 문장 속 단어 하나하나가 다른 모든 단어와 얼마나 관련 있는지 점수를 매긴다. 예를 들어 "그 개는 공을 쫓았다, 그것이 빨랐기 때문에"에서 '그것'이 개인지 공인지를 모델이 이 점수로 스스로 판단한다.

지금의 LLM은 이 구조로 '다음에 올 단어 하나'를 맞힌다. 단어 하나를 만들 때마다 같은 계산을 처음부터 다시 돌리고, 이것을 계속 이어 가면서 답변을 완성한다.

LLM을 쓰며 겪는 제약은 대부분 여기서 나온다

셀프 어텐션은 모든 단어 쌍을 서로 비교하기 때문에, 입력이 길어지면 계산량이 그보다 훨씬 빠르게 늘어난다(길이의 제곱). 사용자가 실제로 겪는 여러 제약이 바로 여기서 생긴다.

구조를 알면 비용과 품질을 아낄 수 있다

시스템 프롬프트나 참고 문서처럼 매번 똑같이 보내는 앞부분은 프롬프트 캐싱을 쓰면 비용을 줄일 수 있다. 바뀌지 않는 내용은 앞에, 매번 바뀌는 질문은 뒤에 두는 것이 좋다.

긴 문서를 넣으면 모델이 중간 내용을 자주 놓친다("Lost in the Middle"). 정말 중요한 내용은 문서 맨 앞이나 맨 끝에 두고, 꼭 필요한 부분만 잘라서 넣는 편이 더 정확하다.

대안이 나오고 있지만 아직은 트랜스포머

계산 비용이 크다는 약점 때문에, 입력 길이에 비례해서만 비용이 늘어나는 Mamba 같은 구조도 연구되고 있다. 실제 제품에는 트랜스포머와 섞은 형태로 쓰이기 시작했다. 그래도 2026년 현재 최상위 모델은 여전히 트랜스포머로 만들어지며, 이미지·음성 모델도 같은 구조를 쓴다.

챗봇부터 번역·이미지·음성까지 같은 구조

트랜스포머를 직접 만들어 쓰는 사람은 드물다. 대부분은 트랜스포머로 만든 모델을 통해 쓰며, 앞에서 본 제약에 맞춰 입력을 짜는 것이 실제로 쓰는 방법이다.