챗봇

사람 말로 묻고 답하며 질문 응대나 간단한 업무를 처리하는 AI로, 고객 지원·사내 문서 안내·주문 조회처럼 자주 반복되는 문의를 맡길 때 쓴다. 키워드에 맞는 준비된 답만 내놓던 예전 챗봇과 달리, LLM 기반 챗봇은 맥락을 이해하며 대화하고 주문 조회 같은 실제 작업까지 처리한다.

API로 만들고 기능을 하나씩 붙인다

Claude나 GPT API에 시스템 프롬프트로 역할, 말투, 해도 되는 일과 안 되는 일을 정하고 대화 루프를 짜면 시작할 수 있다. 회사 문서로 답해야 하면 RAG를, 실제 조회까지 해야 하면 도구 사용을 붙인다.

프로토타입은 Streamlit이나 Vercel AI SDK로 하루면 만든다. 시간이 드는 건 그 뒤다. 대화 로그에서 자주 틀리는 질문을 찾아 프롬프트와 문서를 보강하는 일이 출시 뒤에도 계속 이어진다.

기억은 모델이 아니라 코드가 한다

LLM은 호출과 호출 사이에 아무것도 기억하지 못한다. 매번 지금까지 나눈 대화를 통째로 다시 보내기 때문에 기억하는 것처럼 보일 뿐이다. 그래서 대화가 길어질수록 비용이 늘고 언젠가는 컨텍스트 한계에 부딪힌다.

오래된 대화는 요약해서 줄이고, 중요한 사실만 따로 저장해 두면 된다. 세션이 바뀌어도 사용자를 기억해야 한다면 장기 기억 저장소를 붙인다. 무엇을 얼마나 오래 기억할지는 비용 문제이면서 프라이버시 문제이기도 하다.

운영 전에 꼭 챙길 세 가지

챗봇의 답은 회사가 공식적으로 한 말로 받아들여진다. 실제로 항공사 챗봇이 없는 환불 규정을 지어내 안내했다가 법원이 회사에 배상 책임을 물린 일도 있다.

다 해결하려 하지 않는 게 낫다

모든 질문에 어설프게 답하는 챗봇보다, 자주 묻는 질문의 80%를 빠르고 정확하게 처리하고 나머지는 사람에게 깔끔하게 넘기는 챗봇이 사용자 만족도가 더 높다. 처음부터 맡을 범위를 좁게 잡고 시작하는 편이 좋다.

반복 문의를 먼저 받는 창구로 쓴다

가장 흔한 방식은 웹사이트나 메신저에 붙여 자주 묻는 질문을 먼저 받게 하는 것이다. 챗봇이 답할 수 있는 건 바로 처리하고, 판단이 필요한 건 사람에게 넘긴다.