컴퓨터 사용

컴퓨터 사용(Computer Use)은 AI가 화면 캡처를 보고 마우스와 키보드를 움직여 사람처럼 컴퓨터를 조작하는 기능으로, Anthropic이 Claude 3.5 Sonnet과 함께 처음 공개했다. API가 없는 오래된 프로그램이나 웹 화면 작업을 자동화할 때 쓴다.

AI는 지시만, 실행은 내 코드가

Claude가 직접 컴퓨터를 만지는 것이 아니다. Claude API에 컴퓨터 사용 도구(첫 버전은 computer_20241022)를 켜서 요청하면, Claude가 "스크린샷 찍기", "이 좌표 클릭", "이 글자 입력" 같은 동작을 돌려준다. 내 프로그램이 그 동작을 실제로 실행하고 새 스크린샷을 다시 보낸다.

이 과정을 작업이 끝날 때까지 반복하는 구조라서 실행 환경은 직접 준비해야 한다. 처음이라면 Anthropic이 GitHub에 공개한 데모를 쓰면 편하다. 가상 화면이 들어 있는 Docker 컨테이너라서 바로 돌려 볼 수 있다. 도구 이름과 베타 설정은 버전마다 바뀌므로 공식 문서에서 최신 값을 확인한다.

느리고 비싸니 API가 없을 때만

한 동작마다 스크린샷을 보내야 해서 API 호출보다 훨씬 느리고, 이미지 토큰 때문에 비용도 많이 든다. 작은 버튼을 잘못 누르거나 스크롤·드래그를 놓치는 실수도 아직 있다.

격리된 환경에서 돌려야 안전하다

AI가 화면에 보이는 글을 지시로 착각할 수 있다. 웹페이지에 숨겨진 문구가 엉뚱한 행동을 시키는 프롬프트 인젝션이 대표적인 위험이다. 그래서 내 실제 PC가 아니라 권한을 최소로 줄인 가상 머신이나 컨테이너에서 실행해야 한다.

로그인 정보 같은 민감한 데이터는 넣지 않고, 접속할 수 있는 사이트는 필요한 곳만 열어 둔다. 결제, 메일 발송, 파일 삭제처럼 되돌리기 어려운 동작은 실행 전에 사람이 확인하도록 설계한다.

사람이 하던 클릭·입력을 대신 맡긴다

가장 흔한 건 API가 없는 화면에서 사람이 손으로 하던 반복 작업을 맡기는 방식이다. 보통 격리된 가상 머신에서 돌리고, 저장·제출처럼 중요한 단계 직전에는 멈춰서 사람이 확인하게 한다.