클로드에게 폰을 쥐여줬더니, 일하면서 설명서까지 만들어 옵니다

AI에게 일을 시킬 때 늘 걸리는 벽이 있습니다. 클로드는 내 PC 안에서만 삽니다. 앱에만 있는 기능, 앱 전용 무료 AI, 푸시 알림으로만 오는 신호 — 폰에 있는 것들은 전부 사람이 직접 폰을 들고 처리해야 했습니다.

그래서 폰을 클로드에게 쥐여줬습니다. 이제 이렇게 말하면 됩니다.

"폰으로 이 앱 설정 화면 캡처해서 설명 이미지 만들어줘"
"이 앱이 구형 안드로이드에서 켜지는지 확인해줘"
"댓글 알림 오면 알려줘"

클로드가 폰 화면을 직접 보고, 무엇을 눌러야 하는지 스스로 판단해서 조작합니다. 좌표를 알려줄 필요가 없습니다. 화면에 뭐가 있는지 클로드가 읽으니까요.

클로드가 폰을 "본다"는 것

이 도구의 핵심은 클로드가 폰 화면을 읽고 스스로 다음 행동을 정한다는 데 있습니다.

node scripts/ui.mjs dump      # 화면의 모든 요소와 좌표를 클로드에게
node scripts/ui.mjs tap-text "전송"   # 클로드가 고른 것을 누름

사람이 "화면 좌표 540, 1200을 눌러"라고 지시하는 게 아닙니다. 클로드가 화면을 읽고 "전송 버튼이 여기 있네" 하고 판단해서 누릅니다. 그래서 기기가 바뀌어도, 앱이 업데이트돼서 버튼이 옮겨가도 그냥 됩니다.

중간에 예상 못 한 게 뜨면요? 클로드가 화면을 다시 보고 처리합니다. 실제로 작업 중에 민방위 훈련 안내 문자가 화면을 덮은 적이 있는데, 클로드가 그걸 인식하고 닫은 뒤 하던 일을 이어갔습니다. 좌표만 따라가는 스크립트였다면 그 문자 위를 눌렀을 겁니다.

일하면서 설명서가 같이 나옵니다

자동화에는 이상한 공백이 하나 있습니다. 일이 끝나면 결과만 남고, 어떻게 했는지는 아무 데도 안 남습니다. 그래서 남에게 설명하려면 사람이 다시 처음부터 화면을 녹화하고, 캡처하고, 화살표를 그립니다.

이 도구는 클로드가 폰을 조작하는 동안 어디를 몇 초에 눌렀는지를 자동으로 기록하고, 그 기록이 그대로 영상 속 커서가 됩니다.

그래서 이 커서는 정확합니다. 사람이 나중에 "여기쯤 눌렀지" 하고 얹은 게 아니거든요. 부수 효과도 있습니다 — 클로드가 뭘 했는지 눈으로 검증할 수 있습니다. 엉뚱한 걸 눌렀다면 영상에 그대로 보입니다.

OS가 안 해주니 직접 그렸습니다

처음엔 이럴 필요가 없다고 봤습니다. 안드로이드 개발자 옵션에 "터치 표시"가 있으니까요. 켜고 녹화했는데 영상에 아무것도 없었습니다.

원인을 찾는 데 한참 걸렸습니다. 여러 제조사 스킨이 그 표시를 진짜 손가락에만 그립니다. 자동화가 주입한 탭은 시스템 입장에서 "손가락"이 아니라 흔적을 안 남깁니다. 사람이 시연할 땐 되고 자동화할 땐 안 되는 기능이었던 겁니다.

막힌 김에 더 나은 길이 보였습니다. 어차피 좌표와 시각을 갖고 있으니 직접 그리면 됩니다. OS 지원과 무관해지고, 커서 모양도 브랜드에 맞출 수 있고, 어떤 기종에서도 똑같이 나옵니다.

스크린샷이 곧 설명서가 됩니다

"이 화면에서 뭘 눌러야 하는지 표시해줘"라고 하면 이런 게 나옵니다.

클로드가 화면 요소를 읽을 수 있으니 어디에 번호를 붙일지도 클로드가 압니다. 사람은 "1번은 이거 켜기, 2번은 이 값 복사"처럼 의미만 말하면 됩니다.

node scripts/annotate.mjs --live guide.png --marks marks.json

그리고 이게 파일로 남습니다. 앱이 업데이트되면 같은 명령을 다시 돌리면 끝입니다. 그래서 문서가 낡지 않습니다 — 업데이트를 포기하고 방치되는 가이드와 갈리는 지점이 여기입니다.

폰이 PC의 한계를 넘겨줍니다

여기서부터가 이 도구를 만든 진짜 이유입니다.

마지막 줄이 특히 그렇습니다. 최신 도구가 안 돌아가는 그 낡은 폰이, 정작 사용자가 불평을 보내오는 바로 그 기기입니다.

node scripts/qa.mjs app.apk --package com.example.app --device phone-3

"이 앱 구형 폰에서 확인해줘"라고 하면 클로드가 설치하고, 화면을 순회하고, 각 단계를 캡처하고, 크래시 로그까지 모아 리포트로 냅니다. 서랍 속 공기계가 QA 장비가 되는 겁니다.

폰을 여러 대 붙이면 클로드가 동시에 씁니다. 실제로 이 글을 쓰는 지금 폰 3대와 태블릿 1대가 충전기에 꽂힌 채 대기 중입니다.

한 시간씩 날려본 자리들

이 표가 스킬의 참조 문서에 그대로 들어가 있습니다. 사는 사람이 같은 자리에서 한 시간을 버리지 않도록요.

두 번째 상품이 됐습니다

지난달 첫 스킬을 Capafy에 올렸던 이야기를 썼는데, 이번이 두 번째입니다. Phone Remote: Android Capture, Demo & QA — 15달러, 다운로드 방식입니다.

클로드 코드에 설치하면 됩니다. 설치 후엔 명령어를 외울 필요가 없습니다. "폰으로 ~해줘"라고 말하면 클로드가 알아서 이 스킬을 꺼내 씁니다. 어떤 스크립트를 어떤 순서로 돌릴지는 스킬 문서에 적혀 있고, 그걸 읽는 건 클로드니까요.

파는 물건이니 검증을 제대로 했습니다. 폰 3대(안드로이드 14·10·9)에 실제로 붙여 전 기능을 돌렸고, 그 과정에서 세 군데가 깨져서 고쳤습니다. 위 표의 마지막 줄이 그중 하나입니다.

필요한 건 무료 도구뿐입니다. 안드로이드 platform-tools(adb)와 ffmpeg, Node 18 이상. 클라우드 서비스도, 유료 API도, 구독도 없습니다. npm install 할 것도 없습니다.

카드뉴스로 한눈에

빠른 소식은 인스타그램 @jarvis_studio_k에서, 만드는 과정은 이 블로그에서 이어집니다.