위스퍼

OpenAI가 공개한 음성→텍스트 변환(STT) 모델로, 회의 녹음 전사·영상 자막·음성 명령 처리처럼 말을 글자로 옮길 때 쓴다. 모델 하나로 99개 언어를 알아듣고 잡음이나 억양이 강한 녹음에도 잘 버티며, API로 바로 쓰거나 내 PC에서 직접 돌릴 수 있다.

언어마다 모델을 따로 둘 필요가 없다

Whisper 이전에는 언어마다 모델을 따로 만들거나, 특정 녹음 환경에서만 잘 되는 경우가 많았다. Whisper는 모델 하나가 어떤 언어인지 스스로 알아내고 받아 적는다. 다른 언어로 된 음성을 바로 영어 텍스트로 옮기는 번역 기능도 있다.

API는 파일만 올리고, 로컬은 크기를 고른다

API에서는 오디오 파일을 전사 엔드포인트로 보내면서 모델 whisper-1을 지정하면 된다. 한 번에 올릴 수 있는 파일 크기에 제한이 있어서 긴 녹음은 나눠 보내야 한다. API에는 이후에 나온 새 전사 모델도 있으니 같은 파일로 결과를 비교해 보면 좋다.

로컬에서는 pip install -U openai-whisper로 설치한다. 오디오 변환에 ffmpeg가 필요하다. 그다음 whisper meeting.mp3 --model medium --language Korean처럼 실행한다. 언어를 지정하면 자동 감지가 틀릴 일이 없다.

대량 작업은 faster-whisper로

faster-whisper는 같은 Whisper 모델을 CTranslate2로 최적화한 버전이라, 품질은 비슷하게 유지하면서 원본보다 최대 4배 빠르게 돈다. 메모리도 덜 쓴다. 쌓아 둔 녹음 수백 개를 한꺼번에 처리하거나 자막 파이프라인을 만든다면 이쪽이 낫다.

조용한 구간에서는 없는 말을 지어낼 수 있다

Whisper는 오디오를 30초 단위로 잘라 처리한다. 그래서 실시간 받아쓰기를 하려면 따로 손을 봐야 한다. 무음이나 잡음만 있는 구간에서는 하지 않은 말을 지어내거나 같은 문장을 반복하는 일이 있다. 앞뒤 무음을 잘라 내고 넣으면 줄어든다.

고유명사나 전문 용어도 자주 틀린다. API의 prompt나 로컬의 --initial_prompt에 자주 나오는 용어를 미리 적어 주면 도움이 된다. 전사 결과를 LLM으로 한 번 더 교정하는 조합도 많이 쓴다.

녹음을 글로 남기는 데 가장 많이 쓴다

가장 흔한 건 회의·강의 녹음을 받아 적는 것이다. 받아 적은 글을 LLM에 넘겨 요약하거나 교정하는 식으로 다른 도구와 이어 붙이는 경우가 많다.