모바일 에이전트

스마트폰 화면을 보고 사람처럼 탭·입력·스와이프해서 앱을 직접 조작하는 AI 에이전트다. "이 앱에서 이걸 해 줘"라는 말 한마디로 여러 단계의 폰 작업을 맡기고 싶을 때 쓴다.

옛 분산 컴퓨팅 용어인 '모바일 에이전트'는 네트워크의 여러 컴퓨터를 옮겨 다니며 실행되는 프로그램을 뜻했다. 요즘 AI에서 말하는 모바일 에이전트는 휴대폰 화면을 조작하는 에이전트라서 뜻이 다르다.

보고, 생각하고, 누르기를 반복한다

에이전트는 매 단계 현재 화면을 캡처하고, 비전-언어 모델이 할 일과 화면을 함께 보고 다음 동작을 정한 뒤 탭이나 입력을 실행한다. 다음 화면은 눌러 봐야 알 수 있어서, 이 과정을 작업이 끝날 때까지 여러 번 반복한다. 웹 에이전트는 HTML 구조를 바로 읽을 수 있지만, 모바일은 렌더링된 화면 이미지에 더 의존하기 때문에 시각 해석 능력이 핵심이다.

직접 돌려 보려면 ADB부터 연결한다

공개된 오픈소스 에이전트는 대부분 PC에서 돌면서 ADB로 폰을 조작한다. 폰에서 개발자 모드와 USB 디버깅을 켜고(HyperOS·MIUI는 보안 설정의 USB 디버깅도 켜야 한다), USB로 연결한 뒤 adb devices로 기기가 잡히는지 확인하면 된다. PC 없이 폰 안에서 앱으로 도는 에이전트나 클라우드 폰 위에서 돌리는 방식도 나와 있다.

폰 안에서 돌리면 생각하는 시간이 병목이다

화면 캡처와 탭은 가볍지만, 폰 안에서 비전-언어 모델이 추론하는 단계는 오래 걸린다. 그래서 모델이 생각하는 동안 다음 화면을 미리 탐색해 두는 식으로 대기 시간을 줄이는 연구가 나오고 있다. 개인정보를 밖으로 보내기 싫다면 온디바이스, 속도가 중요하면 서버 모델이 현실적인 선택이다.

실제 계정에서 돌릴 땐 조심해야 한다

에이전트가 메시지를 보내거나 설정을 바꾸면 실제 계정 상태가 바뀐다. 로그인 오류, 광고 팝업, 인증 절차, 앱 업데이트가 중간에 끼어들고, 장바구니에 정말 담겼는지 같은 결과를 자동으로 확인하기도 어렵다. 처음에는 에뮬레이터나 테스트 계정에서 돌려 보고, 결제·발송 같은 단계는 사람이 확인하게 두는 편이 안전하다.

사람들은 주로 이렇게 쓴다