휴먼 인 더 루프

AI 에이전트의 실행 과정에 사람의 판단과 승인을 개입시키는 설계 패턴. 자율성과 안전성 사이의 균형을 맞추는 핵심 전략이다.

사람을 언제 끼워 넣을 것인가

AI 에이전트에게 일을 맡기면 대부분은 알아서 척척 해내지만, 문제는 가끔 엉뚱한 판단을 한다는 데 있다. 파일을 지우거나, 실제 돈이 오가는 결제를 처리하거나, 외부로 이메일을 보내는 순간 실수는 되돌리기 어렵다. 휴먼 인 더 루프는 이런 순간에 사람을 흐름 안으로 끌어들인다. 에이전트가 위험한 행동을 실행하기 직전에 잠깐 멈추고, 사람에게 "이거 해도 될까요?"를 물은 뒤 승인을 받아야만 다음으로 넘어가는 구조다. 은행 수표에 비유하면 이해가 쉽다. 직원이 수표를 작성해서 내밀어도, 관리자가 서명하기 전까지는 아무 일도 일어나지 않는다. AI가 수표를 채우는 직원이고, 사람이 서명하는 관리자인 셈이다.

실제로 어떻게 끼워 넣나

가장 흔한 방식은 에이전트가 도구를 호출하기 직전에 멈추는 것이다. LangGraph 같은 프레임워크는 interrupt()라는 기능을 제공하는데, 실행 도중 이 지점에 닿으면 에이전트가 스스로 일시정지하고 사람의 응답을 기다린다. 핵심은 멈춘 순간의 상태를 통째로 저장해 둔다는 점이다. 사람이 5분 뒤에 승인하든 다음 날 승인하든, 에이전트는 그 체크포인트에서 하던 일을 그대로 이어받는다. 승인이 떨어지면 실행하고, 거부하면 건너뛰고, 사람이 값을 고쳐주면 수정된 내용으로 진행한다.

Claude Code에서도 같은 발상이 일상적으로 쓰인다. 파일 쓰기나 명령 실행처럼 영향이 큰 작업을 만나면 실행 전에 사용자에게 확인창을 띄운다. 권한 모드를 조절해서 어떤 작업을 자동 허용하고 어떤 작업에 매번 승인을 물을지 정할 수 있다. 조사나 읽기처럼 위험이 없는 일은 알아서 하게 두고, 되돌릴 수 없는 일에만 사람이 개입하는 하이브리드 구조가 현실적인 답이다.

깊이 개입할까, 지켜만 볼까

사람을 얼마나 깊이 끼워 넣을지는 작업의 위험도에 달렸다. 결제 승인이나 의료 판단처럼 실수가 치명적인 일은 매 결정마다 사람의 서명을 받는 휴먼 인 더 루프가 맞다. 반면 재고 보충이나 알림 전송처럼 자주 일어나고 되돌리기 쉬운 일은, 에이전트가 알아서 실행하고 사람은 결과만 지켜보다가 이상하면 나중에 개입하는 휴먼 온 더 루프가 어울린다. 한 시스템 안에서도 작업마다 이 두 수준을 섞어 쓰는 것이 보통이다.

주의할 점은 승인 절차가 형식만 남는 순간 안전장치가 무너진다는 것이다. 사람에게 판단할 정보를 제대로 보여주지 않으면, 내용도 안 보고 무조건 "승인"만 누르는 습관이 생긴다. 이걸 고무도장 승인이라 부르는데, 이렇게 되면 휴먼 인 더 루프를 둔 의미가 사라진다. 그래서 사람이 무엇을 왜 승인하는지 한눈에 파악할 수 있게 근거와 맥락을 함께 보여주는 검토 화면 설계가, 어떤 프레임워크를 쓰느냐보다 실제 안전성을 좌우한다.