설명가능성

설명가능성은 AI가 왜 그런 답을 냈는지 사람이 알아볼 수 있게 보여주는 능력이다. 정확도만으로는 믿고 맡기기 어려운 대출 심사, 의료 판단, 채용처럼 결과에 책임이 따르는 곳에서 신뢰를 얻고 규제를 지키려고 쓴다.

설명하는 방식은 무엇을 알고 싶은지에 따라 달라진다.

블랙박스라서 설명을 따로 만들어야 한다

결정트리나 선형회귀 같은 단순한 모델은 구조만 봐도 판단 이유가 보인다. 하지만 파라미터가 수없이 많은 딥러닝은 내부를 들여다봐도 이유를 읽어낼 수 없다. 이것을 블랙박스 문제라고 부르고, 그래서 모델 바깥에서 결과를 해석하는 도구가 따로 발전했다.

표 데이터는 SHAP, LLM 앱은 출처 표시

표 형태 데이터로 만든 예측 모델에는 파이썬 shap 라이브러리를 많이 쓴다. 학습된 모델과 데이터를 넣으면 예측 하나마다 각 특성이 결과를 얼마나 올리고 내렸는지 보여준다. 데이터 전체에서 어떤 특성이 중요했는지도 그래프로 그려준다. LIME도 비슷한 도구인데, 예측 하나 주변을 단순한 모델로 흉내 내서 설명한다.

LLM 앱에서는 RAG로 참고한 문서를 답과 함께 보여주는 방법이 가장 쉽다. 사용자가 원문을 눌러 직접 확인할 수 있고, 틀린 답이 어디서 나왔는지 추적하기도 쉬워진다.

그럴듯한 설명이 진짜 이유는 아닐 수 있다

SHAP 값이나 히트맵은 모델의 동작을 근사해서 해석한 결과이고, 모델 내부를 그대로 옮긴 것이 아니다. LLM이 "이렇게 생각했다"며 보여주는 추론 과정도 실제 계산 과정과 다를 수 있다. 출처를 붙여도 모델이 내용을 잘못 요약할 수 있다. 그래서 중요한 판단은 원문과 데이터로 직접 확인해야 한다.

해석가능성과의 차이

비슷한 말인 해석가능성(interpretability)과 섞어 쓰는 경우가 많다. 굳이 나누면 아래와 같다.

결과 안내와 모델 점검에 주로 쓴다

쓰임새는 크게 둘이다. 결과를 받는 사람에게 이유를 알려주는 것, 그리고 만드는 사람이 예측이 이상할 때 원인을 찾는 것이다.