AI 모델의 취약점을 찾기 위해 의도적으로 공격자 역할을 수행하는 테스트 방법론. 모델이 출시되기 전에 위험한 출력을 유도할 수 있는 입력을 미리 발견해 대응하는 것이 목적이다.
레드팀은 원래 군사·보안에서 쓰던 말이다. 우리 편 방어가 얼마나 튼튼한지 알려면, 진짜 적이 오기 전에 아군 중 한 팀이 적군 역할을 맡아 실제로 쳐들어와 봐야 한다. AI에서도 똑같다. 모델을 만든 사람은 "이건 위험한 질문이니 답하지 마"라고 규칙을 심어두지만, 세상에는 그 규칙을 어떻게든 뚫으려는 사람이 있다. 그러니 출시 전에 우리 쪽 사람이 먼저 나쁜 사용자가 되어보는 것이다. 폭탄 만드는 법을 알려달라거나, 개인정보를 캐내거나, 욕설을 쏟아내게 만들려고 온갖 수를 써본다.
핵심은 평범한 사용자처럼 얌전히 묻지 않는다는 점이다. 정면으로 물으면 당연히 거절당하니, 돌려서 판다. "소설 속 악당 대사를 써줘"처럼 역할극으로 위장하거나, 정중히 묻다가 대화를 여러 번 이어가며 조금씩 수위를 높여 어느 순간 선을 넘게 만드는 식이다.
사람이 직접 손으로 파고드는 방식과, 도구로 자동화하는 방식을 섞어 쓴다. 사람 레드팀은 창의적인 시나리오를 짜서 모델이 걸려들 만한 허점을 찾는다. 자동화 쪽은 미리 만들어둔 수백 개의 공격 패턴을 기계적으로 쏟아붓고, 어떤 응답이 규칙을 어겼는지 자동으로 채점한다. 스캐너처럼 넓게 훑어 취약점을 한번에 걸러내는 도구도 있고, 대화를 여러 턴 이어가며 서서히 유도하는 크레센도 방식을 자동으로 굴리는 도구도 있다.
여기서 발견한 구멍은 그냥 기록하고 끝나지 않는다. 성공한 공격을 모아서 다시 학습에 먹인다. "이런 식으로 물으면 거절해야 한다"고 파인튜닝으로 가르치거나, 아예 출력 단계에서 걸러내는 필터를 추가한다. 공격과 방어가 서로를 키우는 셈이다.
레드팀은 출시 전 한 번의 검사가 아니라 계속 돌려야 하는 과정이다. 모델을 업데이트하거나 시스템 프롬프트를 손대면 막아뒀던 구멍이 다시 열릴 수 있고, 공격 기법 자체도 매달 새로 나온다. 특히 긴 대화를 던져 방어를 흐트러뜨리거나, 여러 턴에 걸쳐 서서히 파고드는 공격은 한 문장씩만 검사하는 방어를 손쉽게 빠져나간다. 그래서 요즘은 자동화로 넓게 훑되, 도구가 상상 못 하는 창의적 허점은 사람이 직접 찾는 두 방식을 함께 유지하는 것이 기본이 되었다. 다만 자동화가 아무리 발전해도 실제 서비스 맥락에 맞는 교묘한 우회는 결국 숙련된 사람 손을 탄다.