보이스 AI

사람이 말로 묻고 AI가 바로 말로 답하는 실시간 음성 대화 기술로, 전화 상담이나 말하기 연습처럼 말이 자연스러운 곳, 운전 중처럼 손과 눈을 쓰기 어려운 곳에 쓴다. 만드는 방식은 음성 인식·LLM·음성 합성을 잇는 파이프라인과 음성을 바로 듣고 말하는 네이티브 음성 모델, 두 가지다.

대화가 자연스러운지는 '끝 감지'에 달렸다

글 채팅에는 전송 버튼이 있지만, 음성에서는 사용자가 말을 끝냈는지 AI가 스스로 판단해야 한다. 이 일을 VAD(음성 활동 감지)가 맡는다. 너무 빨리 끊으면 말하는 도중에 AI가 대답하고, 너무 늦게 끊으면 대답이 굼떠 보인다.

끼어들기 처리도 중요하다. AI가 말하는 중에 사용자가 다시 말하면 재생을 바로 멈추고 새 말을 들어야 사람과 대화하는 느낌이 난다.

직접 만들 때는 실시간 API부터

OpenAI Realtime API나 ElevenLabs Conversational AI 같은 음성 대화용 서비스를 쓰면 WebSocket으로 소리를 주고받는 앱을 비교적 쉽게 만들 수 있다. 순서는 대략 이렇다.

예약이나 주문 조회처럼 다른 시스템과 연결해야 하면 함수 호출(도구 사용)을 붙인다. 나중에 확인할 일이 있으면 대화 내용을 텍스트로 따로 저장해 두는 게 좋다.

말로 하기 좋은 일, 아닌 일

잘못 알아듣는 경우를 대비한다

시끄러운 곳이나 사투리, 고유명사에서는 잘못 알아듣기 쉽고, AI는 잘못 들은 말을 그대로 믿고 답한다. 전화번호나 이름, 금액처럼 중요한 정보는 한 번 더 따라 말해 확인받는 흐름을 넣는 게 안전하다.

통화 녹음에는 개인정보가 섞이기 쉽다. 녹음하고 보관한다는 사실을 사용자에게 알려야 한다. 다른 사람 목소리를 따라 하는 음성 복제 기능은 본인 동의 없이 쓰지 않는다.

전화 응대와 음성 대화 앱에서 가장 많이 쓴다

가장 흔한 건 정해진 흐름이 있는 전화 응대를 맡기는 방식이다. 개인 사용자는 챗봇 앱의 음성 모드로 손을 쓰지 않고 묻거나 말하기 연습을 한다.