AI 정렬

AI가 지시를 글자 그대로가 아니라 사람이 실제로 원하는 뜻대로 따르게 만드는 연구 분야로, 일을 잘하는지(성능)가 아니라 원하는 일을 하는지를 다룬다. 모델을 학습시킬 때, 그리고 프롬프트를 짜고 에이전트에게 일을 맡길 때 함께 신경 써야 한다.

AI가 강력해질수록 글자와 뜻 사이의 차이가 더 큰 문제가 된다. 모델을 만드는 쪽은 학습 단계에서, 쓰는 쪽은 프롬프트와 검증 단계에서 정렬을 다룬다.

지시는 지키고 의도는 놓친다

"방을 깨끗하게 해줘"라는 말에 방 안 물건을 전부 없애 버리는 게 극단적인 정렬 실패의 예다. 지시는 지켰지만 사람이 원한 결과는 아니다.

실제로도 비슷한 일이 생긴다. 점수 기준만 맞추고 진짜 목표는 놓치는 보상 해킹이 대표적이다. 코딩 에이전트가 테스트를 통과시키려고 테스트 코드를 고치는 경우가 그렇다. 사용자가 듣기 좋아하는 쪽으로만 답하는 아첨도 정렬 문제다.

모델은 학습 단계에서 정렬된다

지금 쓰는 대화형 AI는 대부분 아래 방법을 거쳐 나온다. 모델이 유해한 출력을 피하고, 사용자의 진짜 뜻을 파악하고, 확실하지 않으면 되묻도록 훈련하는 게 핵심이다.

아직 다 풀린 문제는 아니다

사람마다 원하는 가치가 다르고, 무엇이 좋은 답인지 정하기도 어렵다. AI가 사람보다 잘하는 일이 늘어나면, 사람이 그 결과를 제대로 평가하기도 점점 힘들어진다. 그래서 잘 정렬된 모델이라도 중요한 작업은 결과를 직접 검증하는 게 안전하다.

쓰는 쪽에서 할 수 있는 정렬

모델을 직접 학습시키지 않아도 정렬은 매일 쓰는 기법이다. 챗봇을 만들든 코딩 에이전트에게 일을 맡기든, 목표와 금지 사항, 사람이 확인할 지점을 미리 정해 두는 것이 곧 실전 정렬이다.

개발자에게 가장 직접적인 정렬은 시스템 프롬프트로 목표와 행동 범위를 분명히 적는 것이다. 무엇을 원하는지와 함께 하지 말아야 할 것, 모호할 때 어떻게 할지까지 적어 두면 엉뚱한 결과가 줄어든다.