"what's on screen", "show me"?
screenshot
← 스킬 레지스트리
개발 워크플로공개 스킬
Computer Use
AI 에이전트를 위한 데스크탑 자동화 — 스크린샷, 클릭, 타이핑, 스크롤, 접근성 트리, 폼 작성, 메뉴 탐색, 스크립트(AppleScript/JXA/PowerShell), 앱/창 관리. 49개 도구.
이 스킬이 가르치는 것
특정 작업 유형을 위한 재사용 가능한 플레이북입니다.
MCP 서버는 에이전트에게 어떤 작업이 가능한지 알려줍니다. 스킬은 그 작업들에 대한 판단을 추가합니다: 작업을 인식하는 방법, 따라야 할 순서, 피해야 할 것, 그리고 결과가 완료되었는지 결정하는 방법.
데스크톱 컴퓨터 제어를 조율하세요 — 스크린샷 촬영, 클릭/타이핑/스크롤, 창 및 앱 관리, 접근성 트리 읽기, 폼 작성, 스크립트 실행(AppleScript/JXA/PowerShell), 클립보드 관리, UI 요소 탐색. 데스크톱 작업 자동화, 버튼 클릭, 폼 작성, 화면 내용 읽기 시 사용하세요.
아키텍처
Computer Use이(가) ADK-Rust 에이전트를 어떻게 안내하는지.
스킬은 서비스 자격 증명이나 비즈니스 데이터를 포함하지 않고 지침만 포함하므로 읽기 쉽고 휴대 가능합니다. ADK-Rust가 에이전트에 제공하고, 에이전트는 검토된 도구 경계에서 선택하며, 연결된 MCP 서버가 인증된 작업을 수행합니다.
01
사용자 요청
에이전트는 일반 언어로 표현된 목표를 받습니다.
02
Computer Use 스킬
의도를 일치시키고 결정 가이드를 제공하며 도구 경계를 좁힙니다.
03
ADK-Rust 에이전트
워크플로우를 계획하고 각 의미 있는 단계를 런타임을 통해 스트리밍합니다.
04
See compatibility notes
기능을 소유한 시스템에 대해 인증된 작업을 실행합니다.
05
검증된 결과
스킬의 완료 규칙은 사용자에게 반환되는 증거를 형성합니다.
결정 가이드
에이전트가 요청을 올바른 작업으로 전환하는 방법입니다.
이 경로들은 스킬 지침에서 직접 가져온 것입니다. 모델이 의도를 인식하고 전체 기능 범위 대신 집중된 도구나 워크플로우를 선택하도록 돕습니다.
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
검증된 워크플로우
유용한 결과를 위한 반복 가능한 시퀀스입니다.
워크플로우는 여러 도구 호출을 사용자가 실제로 인식하는 작업으로 결합합니다. 스킬은 순서와 의도된 결과를 설명하며 ADK-Rust는 공유 런타임을 통해 에이전트의 진행 상황을 스트리밍합니다.
013개의 호출
보기 → 클릭 → 확인
스크린샷, 상호작용, 확인
022개의 호출
폼 작성
필드 찾기 → 모두 작성
032개의 호출
메뉴 액션
단축키 찾기 → 키 누르기
041개의 호출
스크립트 자동화
복잡한 AppleScript/PowerShell
052개의 호출
앱 관리
목록 → 활성화
도구 경계
스킬은 50개의 문서화된 도구를 사용할 수 있습니다.
이 허용 목록은 스킬에서 선언합니다. 에이전트가 이 작업에 필요한 행동에 집중하도록 유지하며, See compatibility notes는 인증, 검증, 연결된 시스템에 대한 책임을 집니다.
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
작동 규칙
에이전트가 해야 할 것
- 클릭 전 항상 스크린샷 촬영 (대상 가시성 확인)
- 좌표 클릭보다 click_element/press_button 선호 (더 신뢰성 있음)
- 복잡한 다단계 작업 전 get_tool_guide 사용
- 키보드 단축키 찾을 때 list_menu_bar 사용 (메뉴 탐색보다 빠름)
- 작업 후 후속 스크린샷으로 확인
운영 경계
에이전트가 피해야 할 것
- 화면을 보지 않고 클릭하지 마세요
- 접근성 요소가 있을 때 좌표 클릭 사용하지 마세요
- 잘못된 필드에 타이핑하지 마세요 (get_focused_element 먼저 확인)
- 사용자 확인 없이 파괴적 스크립트 실행하지 마세요
- 허용 목록 외 앱과 상호작용하지 마세요 (policy_status 확인)
설치 및 연결
기능이 기대하는 스킬을 그 옆에 추가하세요.
ADK-Rust 스킬 로더가 발견할 수 있는 저장소에 설치하고, See compatibility notes에 연결하며, 선언된 도구가 사용 가능한지 확인한 후 에이전트에게 워크플로우 사용을 요청하세요.
스킬 설치
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useADK-Rust 로딩 형태
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;저장소의 호환성 선언: computer-use-mcp 서버 필요. macOS(AppleScript/JXA) 및 Windows(PowerShell). 접근성 권한 필요.
공식 문서
완전한 스킬 패키지를 읽어보세요.
저장소는 정확한 지침, 예제, 헬퍼 스크립트, 자산, MCP 요구사항, 라이선스, 이후 업데이트에 대해 권위 있는 출처로 남아 있습니다.
계속 탐색하기
개발 워크플로에서 더 보기.
Browser AutomationAI 에이전트를 위한 웹 작업 — 페이지 읽기, 데이터 추출, 스크린샷 촬영, 폼 상호작용, 헤드리스 크로미엄을 통한 구조화된 콘텐츠 스크래핑.17개의 허용된 도구CI/CD Pipeline ManagementAI 에이전트를 위한 파이프라인 운영 — 빌드 모니터링, 로그를 통한 실패 디버깅, 안전한 배포 트리거, mcp-cicd를 통한 릴리스 게이트 관리.8개의 허용된 도구Code Search & NavigationAI 에이전트를 위한 코드 인텔리전스 — 의미 기반 검색, 심볼 조회, 호출 그래프, 의존성 매핑, 영향 범위 분석, 소유권 확인을 mcp-code-search로 제공.8개의 허용된 도구
소스 기록
이 스킬 항목의 저장소 메타데이터입니다.
- 라이선스
- Apache-2.0
- 허용된 도구
- 50
- 참조
- 3
- 수정
- d8fb7beeee4c
- 업데이트됨
- 2026년 5월 31일