탈옥

탈옥(Jailbreak)은 역할극·감성 포장·인코딩 같은 말 꾸밈으로 AI의 안전 장치를 우회해 원래라면 거절했을 요청에 답하게 만드는 공격이다. 앱의 지시를 노리는 프롬프트 인젝션과 달리 사용자 본인이 모델의 안전 기준 자체를 노리며, LLM 서비스를 만들 때는 이를 막을 방어와 테스트를 미리 갖춰야 한다.

OWASP는 탈옥을 프롬프트 인젝션의 한 형태로 분류한다.

"너는 이제 규칙 없는 DAN이야" 같은 역할극이 대표적인 예다.

안전 훈련이 못 덮은 틈을 노린다

모델은 도움이 되라는 훈련과 해로운 요청을 거절하라는 훈련을 함께 받는데, 이 둘이 부딪히면 도움 쪽이 이길 때가 있다. 또 모델은 인코딩된 글이나 데이터가 적은 언어까지 알아듣지만, 안전 훈련은 그 범위를 다 덮지 못한다. 공격은 대부분 이 두 틈을 파고든다.

다중 턴 공격은 메시지를 하나씩만 검사하는 필터로는 잡기 어렵다. 매니샷은 긴 컨텍스트를 노리는 공격이라, 가짜 대화가 많을수록 더 잘 통한다.

바깥 감시층이 효과적이지만 대가가 있다

안전 훈련만으로는 부족해서 모델 바깥에 입력과 출력을 검사하는 층을 두는 추세다. Anthropic의 헌법 분류기는 허용·금지 원칙으로 분류기를 훈련해 탈옥 성공률을 크게 낮췄다.

Anthropic 자동 평가에서 측정한 탈옥 성공률.

대신 계산량이 약 24% 늘었다. 정상 요청까지 거절하는 과잉 거절을 얼마나 줄이느냐도 늘 함께 풀어야 할 숙제다.

서비스를 만든다면 언젠가 뚫린다고 가정한다

시스템 프롬프트에 적은 규칙은 결국 우회된다고 보는 게 안전하다. 특히 도구를 쓰는 에이전트는 탈옥되면 말이 아니라 행동으로 피해를 내므로 권한부터 좁혀야 한다.

탈옥은 막으려고 일부러 해 본다

탈옥을 가장 체계적으로 시도하는 쪽은 오히려 방어하는 사람들이다. 모델이나 서비스를 내놓기 전에 일부러 뚫어 보며 약점을 찾고, 뚫린 사례는 방어와 테스트에 다시 반영한다.