음성 인식

사람의 말을 텍스트로 바꿔 주는 AI 기술(STT, ASR)로, 회의록 작성, 상담 전화 분석, 영상 자막처럼 음성을 글로 남기거나 다른 AI에 넘길 때 맨 처음 거치는 단계다. 녹음 파일을 한 번에 넘기는 일괄 처리와 말하는 동안 바로 글자가 나오는 실시간 처리 중 하나로 쓴다.

Whisper 이후 쓸 만해졌다

예전 음성 인식은 조용한 곳에서 표준 발음으로 말해야 제대로 됐다. OpenAI가 공개한 Whisper는 약 68만 시간 분량의 다국어 오디오로 학습했다. 그래서 잡음이 있거나 억양이 다르거나 여러 언어가 섞인 녹음에서도 쓸 만한 결과를 낸다. 모델이 오픈소스로 공개돼 있어 내 컴퓨터에서 직접 돌릴 수도 있다.

API로 쓸지, 직접 돌릴지

가장 빠른 방법은 OpenAI API의 whisper-1 모델에 오디오 파일을 보내는 것이다. 따로 설치할 것 없이 코드 몇 줄로 텍스트를 받을 수 있어 프로토타입을 만들 때 좋다. 녹음이 외부로 나가면 안 되거나 처리할 양이 아주 많다면 오픈소스 Whisper를 직접 설치해서 쓴다. 모델 크기가 여러 단계로 나뉘는데, 작을수록 빠르고 클수록 정확하다.

전사 결과를 AI에 넘기는 순서

회의록을 자동으로 만든다면 녹음, STT로 전사, 전사문을 LLM에 넘겨 요약과 할 일 정리 순서로 구성한다. 전사문에는 잘못 받아 적은 단어나 고유명사 오류가 섞여 있다. 그래서 요약할 때 원문 확인이 필요한 부분을 표시하게 해 두면 안전하다. 누가 말했는지가 중요하면 화자 구분(diarization)을 지원하는 서비스를 고른다.

자주 틀리는 부분을 알고 쓴다

사내 용어, 제품명, 사람 이름은 자주 틀린다. Whisper API에서는 prompt에 자주 나오는 단어를 미리 적어 주면 이런 단어를 더 정확하게 받아 적는다. 긴 침묵이나 음악이 나오는 구간에서는 하지 않은 말을 지어내기도 하고, 여러 사람이 동시에 말하는 구간에도 약하다. 계약이나 의료처럼 중요한 기록은 사람이 한 번 검토한다.

회의록과 자막에 가장 많이 쓴다

가장 흔한 건 녹음을 글로 바꾼 뒤 LLM에 넘기는 방식이다. 녹음 파일은 일괄 처리로 받아 적고, 말하는 즉시 글자가 필요한 곳에만 실시간 스트리밍을 쓴다.