편향

AI 모델이 훈련 데이터나 설계 방식 때문에 특정 집단에 불공정하거나 치우친 결과를 내는 현상으로, 개발자가 의도하지 않아도 생긴다. 채용·대출·심사처럼 사람을 판단하는 일에 AI를 쓴다면 배포 전에 집단별로 결과를 비교해 확인해야 한다.

데이터의 편견을 그대로 배운다

AI는 데이터에서 패턴을 배운다. 데이터에 이미 사회적 편견이 담겨 있으면 모델도 그 편견을 그대로 배운다. 과거 채용 기록으로 훈련한 채용 모델이 특정 성별이나 인종에 불리하게 작동할 수 있는 것이 대표적이다.

성별·인종 같은 항목을 데이터에서 빼도 문제는 사라지지 않는다. 거주 지역, 출신 학교, 이름처럼 그 속성과 연결된 다른 정보를 통해 모델이 같은 패턴을 다시 찾아내기 때문이다.

배포 전에 집단별로 나눠 잰다

전체 정확도만 보면 편향이 가려진다. 성별, 연령, 인종 등 민감한 속성별로 결과를 나눠 Eval로 측정한다. 이름이나 성별만 바꾼 같은 입력을 넣어 답이 달라지는지도 비교한다. 편향이 보이면 문제가 생긴 단계에 맞는 방법으로 줄인다.

이미지 생성 모델이라면 특정 직업이나 역할에 어떤 외모가 생성되는지 정기적으로 점검하는 것이 좋다. 한 번 확인하고 끝내지 말고, 모델이나 데이터를 바꿀 때마다 다시 잰다.

챗봇을 쓸 때도 바꿔 물어본다

일반 사용자도 직접 확인할 수 있다. 이력서 평가나 추천을 맡길 때 이름·성별·나이만 바꿔 같은 질문을 다시 해 보고, 답이 달라지면 그 결과를 그대로 쓰지 않는다. 사람을 평가하는 일에서는 AI 답을 참고로만 두고 최종 판단은 사람이 내린다.

환각과는 다른 문제다

사람을 판단하는 곳마다 점검한다

편향 점검은 AI 결과가 사람에게 직접 영향을 주는 곳에서 주로 한다. 배포 전에 한 번 하고 끝내지 않고, 모델이나 데이터가 바뀔 때마다 같은 검사를 다시 돌린다.