자연어 처리

자연어 처리(NLP)는 컴퓨터가 사람의 말과 글을 읽고, 뜻을 파악하고, 새로 만들어 내게 하는 기술 분야로, 번역·감성 분석·요약·챗봇처럼 텍스트를 다루는 기능은 거의 다 여기에 속한다. 지금은 LLM 하나가 대부분의 NLP 과제를 처리하지만, 빠르고 싸게 반복해야 하는 일에는 전통적인 도구도 여전히 쓰인다.

과제별 모델에서 하나의 LLM으로

예전에는 과제마다 모델을 따로 만들었다. 감성 분석은 감성 데이터로, 번역은 번역 데이터로 각각 학습시켰다. Transformer가 나오고 BERT, GPT 계열이 등장하면서 대부분의 과제에서 기존 방식을 크게 앞섰다.

LLM은 한 걸음 더 나아가, 지시문만 바꾸면 같은 모델이 분류도 하고 요약도 하고 번역도 한다. 그래서 요즘은 새 과제를 만나면 따로 학습시키기 전에 프롬프트로 먼저 풀어 본다.

라이브러리로 돌리거나, API를 부르거나

Python에서는 아래 도구가 대표적이다. 정해진 처리를 대량으로 할 때는 라이브러리를 로컬에서 돌리고, 문맥 이해가 필요한 일은 LLM API에 맡긴다.

빠르고 싸야 하면 경량 모델

리뷰 수십만 건을 긍정/부정으로 나누는 것처럼 단순하고 양이 많은 일은 작은 분류 모델을 로컬에서 돌리는 편이 빠르고 비용도 거의 들지 않는다. 데이터를 밖으로 보내기 어려울 때도 로컬 처리가 맞다.

처음 하는 과제이거나 학습 데이터가 없으면 LLM으로 먼저 풀어 본다. 결과가 괜찮은데 처리량이 커지면 LLM 결과를 학습 데이터로 삼아 경량 모델로 옮기는 순서가 흔하다.

한국어는 지원 여부부터 확인

한국어는 조사와 어미가 붙어 단어 경계가 영어와 다르다. 영어 기준 도구를 그대로 쓰면 결과가 어색할 수 있으니, 도구나 모델을 고를 때 한국어 지원 여부부터 확인한다.

검색·분류·요약에 가장 많이 쓴다

가장 흔한 건 쌓인 텍스트를 자동으로 나누고 찾고 줄이는 일이다. 양이 많고 단순한 단계는 경량 모델이나 라이브러리로, 문맥 판단이 필요한 단계만 LLM으로 나누는 방식이 일반적이다.