환각

AI가 모르는 것을 '모른다'고 하지 않고 사실이 아닌 내용을 그럴듯하고 자신 있게 지어내는 현상이다. AI는 사실을 확인하지 않고 가장 그럴듯한 다음 말을 이어 붙이므로, AI의 답으로 코드를 짜거나 중요한 판단을 내릴 때는 반드시 따로 확인해야 한다.

틀린 내용도 매끄럽고 자신 있게 나온다. 답이 유창하다고 해서 맞는 것은 아니다.

찍으면 점수를 받도록 배웠다

객관식 시험에서 빈칸은 0점이지만 찍으면 맞을 수도 있다. AI 평가도 대부분 맞다/틀리다로만 채점해서, '모른다'고 하면 손해고 그럴듯하게 지어내면 이득이 되는 구조다. 그래서 모델은 확신이 없을 때도 답을 지어내도록 학습된다.

학습 데이터에 딱 한 번 나온 사실처럼 패턴으로 익힐 수 없는 정보는 데이터가 아무리 깨끗해도 일정 부분 틀릴 수밖에 없다. 그래서 환각은 완전히 없앨 수 없다는 것이 지금의 결론이다.

코드 속 환각은 보안 문제가 된다

AI가 짜준 코드가 깔끔해 보여도 실행하면 'module not found'가 뜨는 경우가 흔하다. AI가 지어낸 패키지 이름으로 공격자가 악성 패키지를 미리 등록해 두기도 하므로, 낯선 패키지는 설치하기 전에 실제로 있는 것인지 꼭 확인한다.

여러 겹으로 걸러낸다

한 가지 방법으로 끝나지 않는다. 덜 지어내게 만들고, 지어내도 걸러지게 겹겹이 막는 것이 현실적인 목표다.

최신 모델도 0은 아니다

최신 모델은 환각 비율을 줄였다고 내세우고, 확신이 없으면 '확실하지 않지만'이라고 덧붙이거나 답을 미루기도 한다. 그래도 줄었을 뿐 사라지지는 않았으니, 중요한 답일수록 확인하는 습관을 유지해야 한다.

작업마다 확인하는 지점이 다르다

사람들은 환각을 없애려 하기보다 작업마다 정해진 확인 단계를 끼워 넣어 대비한다. 무엇이 틀리면 가장 곤란한지에 따라 확인하는 곳이 달라진다.