말로 묻고 시키면 답하고 일을 처리해 주는 LLM 기반 AI 프로그램으로, 대화 맥락을 기억하며 질문 답변, 글쓰기, 코드 작성, 정보 검색 같은 일상 업무를 한곳에서 맡길 때 쓴다. ChatGPT, Claude, Gemini가 대표적이고, ChatGPT 이후 가장 대중적인 AI 사용 방식이 됐다.
| 구분 | 하는 일 | 예 |
|---|---|---|
| 옛 챗봇 | 정해진 시나리오대로 답한다 | 고객센터 자동응답 |
| AI 어시스턴트 | 대화하며 여러 작업을 처리한다 | 질문, 글쓰기, 코드 |
| AI 에이전트 | 도구를 써서 여러 단계 일을 스스로 끝낸다 | 검색 후 보고서, 코드 수정·실행 |
초기 어시스턴트는 학습한 지식으로 글만 만들었다. 도구 사용(Tool Use) 기능이 붙으면서 웹 검색, 파일 처리, 코드 실행까지 하게 됐다. 지금은 여러 단계를 스스로 이어 가는 에이전트 쪽으로 발전하고 있다.
개인 용도라면 웹이나 앱에서 바로 대화하면 된다. 자주 쓰는 지시(말투, 역할, 배경 정보)는 맞춤 지시나 프로젝트 같은 기능에 저장해 두면 매번 다시 설명하지 않아도 된다.
내 서비스에 넣으려면 API로 만든다. 보통 이런 순서로 설계한다.
| 단계 | 할 일 |
|---|---|
| 역할 정하기 | 시스템 프롬프트로 역할과 금지 사항을 정한다 |
| 맥락 유지 | 이전 대화 내역을 함께 보내 흐름을 잇는다 |
| 지식 넣기 | 사내 문서 같은 도메인 지식은 RAG로 찾아 붙인다 |
| 스타일 맞추기 | 말투·응답 패턴 고정이 꼭 필요할 때만 파인튜닝 |
| 폴백 설계 | 모르는 질문엔 모른다고 하거나 담당자로 연결 |
API는 스스로 기억하지 않아서 대화 내역을 보내지 않으면 앞 내용을 모른다. 대화가 길어지면 오래된 부분을 요약해 보내야 비용과 길이 한도를 지킬 수 있다.
| 잘 맞는 일 | 조심할 일 |
|---|---|
| 초안 작성, 요약, 번역 | 수치·인용·법률·의료 정보 |
| 코드 초안, 오류 원인 찾기 | 최신 소식 (검색 기능이 없으면 모른다) |
| 아이디어·생각 정리 | 개인정보·회사 기밀 입력 |
어시스턴트는 그럴듯하지만 틀린 답(환각)을 자신 있게 말할 수 있다. 중요한 사실은 출처를 직접 확인하고, 민감한 정보를 넣기 전에는 서비스의 데이터 정책을 먼저 본다.
가장 흔한 쓰임은 문서나 코드의 첫 초안을 맡기고 사람이 다듬는 방식이다. 서비스를 만드는 쪽에서는 API에 사내 문서를 붙여 질문에 답하는 어시스턴트로 만든다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| 문서 업무 | 회의록 요약, 메일 초안, 번역을 맡기고 수치·고유명사만 직접 확인 |
| 코딩 | 오류 메시지를 붙여 원인을 묻거나 함수 초안을 받아 고쳐 쓴다 |
| 공부·조사 | 낯선 개념을 쉽게 풀어 달라고 하고, 최신 자료는 검색 기능을 켜고 묻는다 |
| 사내 문서 검색 | API와 RAG로 규정·매뉴얼을 찾아 답하는 사내용 어시스턴트를 만든다 |