Claude가 맥을 ‘직접’ 조작한다: Dispatch·Computer Use가 바꾸는 에이전트 경계
2026년 3월 Anthropic이 공개한 Claude Cowork·Claude Code의 화면 조작(Computer Use)과 모바일 디스패치(Dispatch)를 공식 문서·언론·실사용 후기까지 엮어, 동작 방식·요건·리스크·업계 맥락을 정리했다.
Claude가 맥을 ‘직접’ 조작한다: Dispatch·Computer Use가 바꾸는 에이전트 경계
에이전트 AI의 다음 전선은 **“말하기”**가 아니라 **“내 도구 위에서 실제로 행동하기”**다. 2026년 3월 Anthropic은 Claude Cowork와 Claude Code에 컴퓨터 사용(Computer Use) 기능을 연구 미리보기(research preview)로 넣었고, 이미 출시됐던 Dispatch와 묶어 “폰에서 지시하고, 맥에서 끝난 결과를 본다”는 흐름을 완성했다.
이 글에서는 Anthropic 공식 블로그, 헬프센터, MacRumors, VentureBeat, MacStories의 Dispatch 실사용을 바탕으로 무엇이 달라졌는지, 어떤 순서로 도구를 고르는지, 안전·거버넌스 측면에서 무엇을 가정해야 하는지를 정리한다.
한 줄 요약
- Computer Use: 전용 API가 아니라, Cowork·Code 안에서 Claude가 마우스·키보드·화면을 통해 앱과 브라우저를 조작해 작업을 끝낼 수 있다(설정 부담은 적게 설계됨).
- Dispatch: 아이폰 등 모바일에서 Claude에게 일을 맡기고, 맥의 데스크톱 앱이 켜진 상태에서 실행·완료를 이어 받는 연속 대화 파이프라인.
- 현재 제약: macOS 전용, Claude Pro·Max 구독, 연구 미리보기 — 복잡한 멀티앱 작업은 아직 성공률·속도 면에서 기대를 낮추는 편이 안전하다.
배경: 왜 지금 “화면 조작”인가
챗봇이 문서를 요약하는 단계를 넘어, 기업과 개인 모두 슬랙·캘린더·브라우저·IDE 안에서 끊기지 않는 워크플로를 원한다. Anthropic은 공식 글에서 “커넥터(Slack, Google Calendar 등)가 없을 때 화면을 직접 탐색한다”고 설명한다. 즉 가장 정확한 통로(connector) → 브라우저 → 최후의 수단으로 GUI 조작이라는 계층적 전략을 분명히 밝힌다.
VentureBeat 등 보도에서는 이를 OpenAI·구글 등과의 “실제로 일하는 에이전트” 경쟁, 그리고 오픈소스 쪽 컴퓨터 자동화 프레임워크와의 긴장 관계 속에서 읽기도 한다. (이 블로그는 오픈소스 도구를 다루기도 하므로, 여기서는 상용 제품이 선택한 설계 트레이드오프에 초점을 둔다.)
Computer Use가 하는 일 (공식 기준)
공식 블로그(2026-03-23)에 따르면:
- 필요한 도구가 없을 때 Claude가 포인터·클릭·스크롤로 화면을 탐색해 과제를 수행한다.
- 파일 열기, 브라우저 사용, 개발 도구 실행 등을 별도 복잡한 셋업 없이 시도할 수 있다고 한다.
- 새 앱에 접근하기 전에는 사용자의 명시적 허용을 받도록 되어 있다.
- 프롬프트 인젝션 등을 완화하기 위해, 컴퓨터 사용 중 모델 활성화를 자동 스캔한다고 한다.
- 동시에 “Computer use는 아직 이르다”, 실수할 수 있고 위협은 계속 진화한다고 못을 박는다. 신뢰하는 앱부터, 민감 데이터는 피할 것을 권한다.
이 문구들은 마케팅과 안전 가이드를 동시에 담고 있어, 사용자 입장에서는 “편의”와 “사고 시 책임”을 분리해서 이해하는 게 좋다.
도구 선택 순서: 왜 “화면”이 마지막인가
VentureBeat·Anthropic 헬프센터 흐름을 종합하면 대략 다음 순서다.
- 직접 커넥터 (Gmail, Slack, Google Calendar, Drive 등) — 빠르고 안정적.
- Claude for Chrome 등 브라우저 경로 — 커넥터가 없을 때의 중간층.
- 스크린샷 기반 GUI 조작 — 범용성은 최대지만 느리고 오류에 취약.
헬프센터에는 “Slack 커넥터로 메시지를 가져오는 것은 몇 초지만, 화면으로 슬랙을 조작하는 건 훨씬 오래 걸리고 오류 가능성이 크다”는 식의 설명이 있다. 이는 제품 철학이자 엔지니어링 현실이다. 화면 조작은 “만능 키”가 아니라 우회로다.
Dispatch: 폰이 리모컨이 되는 구조
Dispatch는 Cowork에 먼저 나왔고, 같은 시기 흐름에서 Claude Code로도 확장된다고 여러 매체가 정리한다. QR 등으로 모바일과 맥을 페어링한 뒤, 폰에서 자연어로 작업을 던지고 맥 쪽 Claude가 실행한다는 그림이다.
공식 블로그 예시는 직관적이다:
- 출퇴근 중 모닝 브리핑 생성
- IDE에서 수정·테스트·PR 생성
- 긴 작업 도중 3D 프린팅 같은 프로젝트를 초기 계획에 맞게 이어 가기
여기서 전제는 분명하다. 데스크톱 앱이 깨어 있고 실행 중이어야 하며, macOS만 지원한다. “자리를 비운 사이 맥이 대신 일한다”는 표현이 자주 쓰이지만, 실제로는 내 맥이 항상 세션 호스트인 셈이다.
요금·플랫폼·출시 상태
- Claude Pro / Max 구독자 대상(구체 요금은 지역·플랜에 따라 다름. 보도에는 Pro 월 $17 전후, Max 상위 티 등이 언급된다).
- macOS 전용 연구 미리보기. Windows 사용자는 현 시점에서 제외된다.
- 완벽하지 않을 수 있으며 복잡한 작업은 두 번째 시도가 필요할 수 있다고 공식이 명시한다.
보안·컴플라이언스: 낙관과 함께 읽어야 할 각주
1) 화면에 보이는 것은 모델이 “볼 수 있는” 정보
GUI 자동화는 스크린 캡처·UI 트리 해석 등을 통해 진행된다. VentureBeat는 화면에 보이는 민감 정보가 노출될 수 있음을 지적하고, Anthropic이 특정 행위(예: 주식 거래, 민감 데이터 입력, 안면 이미지 수집 등)를 학습·지시상 피하도록 했어도 가드레일이 절대적이지 않다고 밝힌다는 점을 전한다.
2) 권한·차단 목록·프롬프트 인젝션 스캔
- 앱별 허용, 일부 민감 카테고리 기본 차단(투자·암호화폐 등이 보도에서 언급됨), 사용자 블록리스트, 조작 중단 같은 레이어가 있다.
- 그럼에도 실수·악의적 웹페이지·악성 지시 시나리오는 남는다. “에이전트가 곧 사용자”에 가까운 입력 경로(키보드·마우스)를 쓰기 때문에, 감사 로그·포렌식 관점의 질문이 곧바로 따라붙는다. VentureBeat는 엔터프라이즈 기능과 Cowork 활동의 중앙 집중식 감사 사이의 간극을 문제 제기한다.
3) 실사용 난이도
MacStories의 John Voorhees는 Dispatch·관련 흐름에 대해 정보 검색·요약은 되지만, 여러 시도에서 성공과 실패가 반반에 가깝다는 취지의 평가를 남겼다. 이는 공식이 말한 “연구 미리보기”와 방향이 같다. 데모와 운영 환경의 괴리를 전제하고 도입해야 한다.
개발자·아키텍트에게 주는 시사점
- 통합 우선순위: 새 자동화를 설계할 때 API·이벤트·공식 커넥터가 있으면 그쪽이 여전히 1순위다. 화면 조작은 레거시·닫힌 UI를 잇는 브릿지다.
- 관측 가능성: 팀 단위로 쓸 경우 누가·언제·어떤 앱을 조작했는지에 대한 정책과 로깅을 제품 기본값에만 맡기지 말 것.
- 프롬프트 인젝션 표면: 브라우저·문서·채팅 앱 내용이 곧 에이전트 입력이 된다. 기존 웹 보안 사고가 데스크톱 행동으로 확장될 수 있다는 전제로 threat model을 갱신할 것.
- 비용·쿼터: 에이전트 작업은 서브에이전트·도구 호출이 많아 토큰·요금제 한도를 빠르게 소모할 수 있다는 사용자 보고가 있다(소셜·보도 인용). 내부 PoC 때도 예산 상한을 같이 설계한다.
정리
Claude의 Computer Use + Dispatch는 “챗봇을 넘어 내 맥 위의 오퍼레이터로 쓴다”는 비전을 제품 형태로 밀어 붙이는 출시다. 동시에 Anthropic은 정확도·속도·보안 모두에서 아직 이르다고 스스로 선을 긋는다.
도입을 검토한다면 세 가지를 추천한다.
- 신뢰할 앱·데이터만으로 범위를 제한할 것.
- 커넥터와 API로 해결 가능한 경로를 먼저 고를 것.
- 연구 미리보기라는 레이블을 “SLA 없음”으로 읽을 것.
참고 링크
- Put Claude to work on your computer — Anthropic (Claude 블로그)
- Assign tasks to Claude from anywhere (Dispatch) — Support
- Let Claude use your computer in Cowork — Support
- Anthropic’s Claude can now control your Mac — VentureBeat
- Claude AI Can Now Use Your Mac While You're Away — MacRumors
- Hands-on with Claude Dispatch for Cowork — MacStories
- Computer use tool — Claude API 문서 (API·앱 경험은 다를 수 있으나 개념 참고용)
이 글은 공개된 보도·문서·리뷰를 바탕으로 작성했으며, 요금·기능 가용성은 시점에 따라 변할 수 있다. 실제 사용 전에는 최신 공지와 계정 설정 화면을 확인하는 것이 좋다.