메커니스틱 해석 가능성

AI 모델 안의 뉴런과 레이어가 어떤 개념을 담고 어떤 순서로 계산해 답을 만드는지 회로와 특징 단위로 직접 따라가는 연구 분야다. 입출력 결과만 보는 대신 "이 내부 경로 때문에 이 답이 나왔다"를 밝혀서, 모델이 왜 그런 답을 냈는지, 안전장치가 제대로 남아 있는지 원인부터 확인할 때 쓴다.

뉴런 하나에 개념이 여럿 섞여 있다

모델이 담아야 할 개념은 뉴런 수보다 훨씬 많다. 그래서 뉴런 하나가 서로 상관없는 여러 개념을 한꺼번에 담는데, 이를 superposition이라고 한다. 뉴런만 들여다봐서는 무슨 뜻인지 읽기 어려운 이유다.

답이 만들어지는 경로를 따라간다

"The Eiffel Tower is in ___"에 "Paris"라고 답할 때 어떤 특징이 어떤 레이어를 거쳐 켜지는지 따라가면, 모델이 사실을 꺼내 오는 경로가 회로로 드러난다. Anthropic은 이 경로를 그림으로 보여주는 attribution graph 도구를 오픈소스로 공개했다. 이를 이용해 Claude Sonnet 안에 감정 관련 특징이 있고, 대화 흐름에 따라 켜지면서 답에 영향을 준다는 것도 회로 수준에서 밝혔다.

안전 점검과 행동 조종에 쓴다

모델이 유해한 요청을 거절하는 행동이 어느 회로에서 나오는지 찾아 두면, 파인튜닝한 뒤에도 그 회로가 그대로 남아 있는지 확인할 수 있다. 또 특정 특징을 일부러 켜거나 끄는 activation patching으로 그 특징이 정말 행동의 원인인지 실험하고, 모델 행동을 세밀하게 조종해 볼 수도 있다.

SAE는 아직 완벽하지 않다

SAE로 풀었다가 다시 합친 신호를 모델에 넣으면 성능이 떨어지는 경우가 있고, 사람이 보기에 뜻을 알기 어려운 특징이 잡히기도 한다. 특정 행동을 분석하려면 그 행동에 맞는 데이터로 따로 학습시켜야 한다는 점도 감안해야 한다.

SAE를 거친 신호를 모델에 다시 넣었을 때 성능이 떨어지는 폭.

공개 모델에 도구를 붙여 직접 실험한다

가장 흔한 방식은 내부를 들여다볼 수 있는 공개 모델에 SAE와 attribution graph 도구를 붙여 궁금한 행동의 회로를 직접 찾아보는 것이다. 작은 모델에서 방법을 익힌 뒤 더 큰 모델로 넓혀 가는 경우가 많다.