어블리터레이션

오픈 웨이트 LLM 안에서 거절을 담당하는 '거절 방향' 하나를 찾아 가중치에서 빼내는 기법이다. 추가 학습 없이 거절 반응을 없애기 때문에 안전 연구와 해석 가능성 연구에 쓰이지만, 안전장치를 함께 없앤다는 점에 주의해야 한다.

거절은 방향 하나에 몰려 있다

2024년 연구에서 채팅 모델의 거절이 내부 표현(잔차 스트림)의 한 방향으로 조절된다는 사실이 밝혀졌다. 해로운 질문과 무해한 질문을 각각 넣고 내부 활성값의 평균 차이를 구하면 그 방향이 나온다. 이후 '어블리터레이션'이라는 이름으로 이 방법이 널리 퍼졌다.

방향을 찾은 뒤에는 잔차 스트림에 값을 쓰는 가중치 행렬에서 그 성분을 빼낸다. 모든 레이어가 이 방향으로 값을 쓸 수 있으므로 한 레이어가 아니라 전체에서 빼야 한다. 학습이 필요 없어서 GPU 한 장으로 재현되고, 결과는 평범한 체크포인트로 남는다.

거절은 사후 학습이 심은 것이다

사전학습만 거친 베이스 모델은 원래 거절하지 않는다. 거절은 정렬 학습이 나중에 넣은 행동이고, 그 결과가 한 방향에 몰려 있어서 쉽게 떼어진다. 그래서 안전 정렬이 생각보다 얕다는 근거로 자주 인용된다. 방어하는 쪽에서는 거절을 더 넓게 퍼뜨리는 파인튜닝이나 적대적 학습으로 이런 제거에 버티는 모델을 만들려고 연구한다.

수술처럼 깔끔하지는 않다

'거절만 지우고 나머지는 그대로'가 목표지만 실제로는 부작용이 있다. 2026년 연구에 따르면 어블리터레이션을 거친 모델은 위험을 대하는 태도와 확신 정도가 미리 예측할 수 없는 방향으로 바뀌었다. 이런 모델을 에이전트로 돌린다면 그 변화를 직접 측정해 봐야 한다. 무엇보다 해로운 요청을 막는 장치가 사라지므로, 결과물을 공개하거나 배포할 때 책임이 따른다.

주로 이런 곳에 쓰인다