BERT

2018년 구글이 내놓은 언어 모델로, 문장을 앞뒤 양쪽에서 한꺼번에 읽어 뜻을 파악한다. 긴 글은 쓰지 못하지만 텍스트 분류·검색용 임베딩·리랭킹처럼 많은 양을 싸고 빠르게 판정해야 할 때 쓰고, 글쓰기는 GPT 계열에 맡기는 식으로 나눠 쓴다.

양쪽을 봐야 뜻이 정해진다

"어제 은행에 앉아 강물을 바라봤다"에서 '은행'의 뜻은 뒤에 나오는 '강물'까지 읽어야 정해진다. 한 방향으로만 읽는 모델은 '은행'을 읽는 순간 아직 '강물'을 못 본 상태다. BERT는 단어마다 앞뒤 단어를 모두 참고하기 때문에 이런 문장을 더 정확히 이해한다.

학습은 빈칸 채우기로 한다. 문장에서 단어 일부를 가리고 앞뒤 문맥만 보고 맞히게 하는 방식이라, 사람이 정답을 달아 줄 필요가 없다. 이렇게 미리 학습한 모델을 내 데이터로 조금 더 학습시키는(파인튜닝) 방식이 BERT 덕분에 표준이 됐다.

직접 분류기 만들기

Hugging Face transformers에서 사전학습된 모델을 받고, 분류층을 하나 얹어 내 데이터 수천 건으로 파인튜닝하면 쓸 만한 분류기가 나온다. GPU 한 장으로 몇십 분이면 끝나고, LLM API를 계속 부르는 것보다 싸고 빠르며 데이터가 밖으로 나가지 않는다. 한국어라면 klue/bert-base에서 시작하면 된다.

판단 기준은 간단하다. 요청마다 새 글을 써야 하면 LLM을, 정해진 보기 중 하나로 고르거나 벡터로 바꾸는 일을 대량으로 해야 하면 BERT 계열을 쓴다. 라벨 데이터가 없으면 LLM으로 소량의 라벨을 만들어 BERT를 학습시키는 방법도 많이 쓴다.

새로 만든다면 ModernBERT

원조 BERT는 한 번에 짧은 글만 다룰 수 있다. 2024년 말 나온 후속 모델 ModernBERT는 훨씬 긴 글을 더 빠르게 처리하고, 기존 BERT 코드에 그대로 바꿔 끼울 수 있다. 분류기나 임베딩 파이프라인을 새로 짠다면 기본으로 고려할 만하다.

한 번에 처리할 수 있는 최대 토큰 수. ModernBERT는 속도도 2~4배 빠르다.

LLM 시대에도 대량 처리는 BERT 몫

모델이 작아서 빠르고 싸게 돌아간다. 모든 요청에 LLM을 부르기엔 비싸고 느린 곳에서 지금도 많이 쓰인다. RAG 파이프라인에서는 문서 임베딩과 리랭킹 두 단계 모두에 BERT 계열이 들어가는 경우가 흔하다.