모델 감사

모델 감사는 AI 모델이 정확하고 공정하며 안전하게, 규칙대로 작동하는지 개발팀이 아닌 독립적인 검토자가 점검하고 문서로 남기는 일이다. 성능을 높이려는 내부 평가와 달리 객관적 검증과 기록이 목적이며, 배포 전에 거치고 배포 뒤에도 주기적으로 다시 한다.

소프트웨어 보안 감사처럼, 모델을 만든 사람이 아닌 사람이 봐야 놓친 문제가 드러난다.

성능 말고도 네 가지를 함께 본다

정확도가 높아도 특정 집단에서만 자주 틀리거나, 위험한 답을 내거나, 학습 데이터 출처가 불분명하면 문제가 된다. 그래서 감사는 아래 항목을 함께 확인한다.

모델 카드로 시작해 드리프트 모니터링으로 이어간다

가장 기본은 배포 전에 모델 카드(Model Card)를 쓰는 것이다. 어떤 데이터로 학습했는지, 어느 집단에서 성능 차이가 나는지, 알려진 한계와 쓰면 안 되는 용도를 적는다. Hugging Face도 모든 모델에 모델 카드를 붙이라고 권한다.

배포 뒤에는 드리프트 모니터링을 감사 절차에 넣는다. 입력 데이터나 사용자층이 바뀌면 성능이 티 나지 않게 떨어지므로, 정해진 주기마다 같은 지표를 다시 재서 이전 기록과 비교한다. 모델을 바꾸거나 다시 학습시켰을 때도 감사를 새로 한다.

위험도에 맞춰 깊이를 정한다

EU AI Act 같은 규제는 고위험 AI에 문서화와 평가 기록을 법으로 요구한다. 이런 분야라면 감사 기록이 그대로 규제 대응 자료가 된다.

통과했다고 안전이 보장되지는 않는다

감사는 점검한 범위 안에서만 안전을 보여 준다. 테스트하지 않은 사용 방식이나 새로운 공격 기법은 걸러내지 못한다. 외부 API로 쓰는 모델은 학습 데이터와 내부 구조를 볼 수 없으므로, 공급자 문서를 확인하고 내 업무 데이터로 직접 시험해 보는 데까지만 할 수 있다.

배포 관문과 정기 점검으로 주로 쓴다

가장 흔한 방식은 감사를 배포 직전 승인 관문으로 두는 것이다. 모델 카드와 점검 결과를 묶어 승인 기록으로 남기고, 모델을 바꾸거나 다시 학습시킬 때마다 같은 항목으로 다시 잰다.