AI가 원칙 목록(헌법)에 비춰 자기 답을 스스로 비판하고 고치도록 학습시키는 Anthropic의 방법이다. 해로운 답을 사람이 하나하나 평가하는 대신 AI 피드백으로 걸러서, 사람 라벨링을 줄이면서 안전 기준을 더 일관되고 투명하게 적용하고 싶을 때 쓴다.
| 항목 | RLHF | 헌법적 AI |
|---|---|---|
| 누가 답을 평가하나 | 사람 평가자 | AI가 원칙에 따라 |
| 평가 기준 | 평가자마다 다른 판단 | 글로 적힌 원칙 목록 |
| 사람 라벨링 | 많이 필요 | 크게 줄어듦 |
| 기준을 바꾸려면 | 사람이 다시 평가 | 원칙 문장을 고쳐 다시 학습 |
학습은 두 단계로 진행된다. 먼저 모델이 답을 쓰고, 원칙 하나를 골라 "이 답에 해로운 점이 있나"를 스스로 비판한 뒤 고친 답을 만든다. 이렇게 고친 답으로 모델을 미세조정한다.
두 번째 단계에서는 모델이 두 답 가운데 원칙에 더 맞는 쪽을 고른다. 이 판단을 모아 보상 모델을 만들고 강화학습을 한다. 사람 대신 AI의 선호를 쓰기 때문에 이 단계를 RLAIF(AI 피드백 강화학습)라고도 부른다.
해로움만 줄이도록 학습시키면 모델이 애매한 질문을 전부 거절해 버리기 쉽다. 헌법적 AI는 그냥 거절하는 답보다 왜 문제인지 설명하고 대안을 주는 답을 더 높게 평가하도록 설계됐다. Claude가 유해한 요청에 이유를 밝히고 다른 방향을 제안하는 것도 이 방식에서 나왔다. Anthropic은 Claude의 헌법을 공개했고, 여기에는 세계인권선언 같은 문서에서 가져온 원칙도 들어 있다.
사람 라벨링은 줄어도 어떤 원칙을 넣을지는 사람이 정한다. 원칙이 모호하거나 한쪽으로 치우치면 결과도 그대로 따라가고, 평가하는 AI가 틀리면 그 실수까지 학습된다. 헌법적 AI는 안전을 보장하는 장치가 아니다. 기준을 글로 드러내서 점검하고 고치기 쉽게 만드는 방법으로 보는 것이 맞다.
Claude 사용자가 헌법을 직접 바꿀 수는 없다. 헌법은 학습할 때 모델에 새겨지고, 시스템 프롬프트에 적은 사용 정책은 실행할 때 지시로 따로 작동한다. 둘 다 모델의 행동에 영향을 주지만 서로 다른 것이다. 직접 학습까지 하지 않아도 "비판 → 수정" 패턴은 프롬프트만으로 따라 할 수 있다.
| 하고 싶은 일 | 방법 |
|---|---|
| 내 모델에 원칙을 학습시키기 | NVIDIA NeMo 같은 오픈소스 정렬 도구의 CAI 절차 사용 |
| 서비스 규칙을 지키게 하기 | 시스템 프롬프트에 규칙을 적기 |
| 답을 한 번 더 점검하기 | "원칙 기준으로 비판 → 수정"을 두 번에 나눠 호출 |
| Claude와 대화하기 | 따로 설정하지 않아도 이유를 밝히고 대안을 주는 거절 방식이 이미 들어가 있다 |