"what's on screen", "show me"?
screenshot
此技能教授的内容
针对特定工作类型的可复用操作手册。
MCP 服务器告诉代理可用的操作。技能为这些操作添加判断：如何识别任务，遵循哪个顺序，避免什么，以及如何判断结果已完成。
协调桌面计算机控制 — 截屏，点击/输入/滚动，管理窗口和应用，读取辅助功能树，填写表单，运行脚本（AppleScript/JXA/PowerShell），管理剪贴板，导航 UI 元素。适用于自动化桌面任务、点击按钮、填写表单、读取屏幕内容等场景。
架构
Computer Use 如何指导 ADK-Rust 代理。
技能保持可读和可移植，因为它包含说明而非服务凭证或业务数据。ADK-Rust 将其提供给代理，代理从审核过的工具边界中选择，连接的 MCP 服务器执行经过身份验证的操作。
01
用户请求
代理接收以普通语言表达的目标。
02
Computer Use 技能
匹配意图，提供决策指南，并缩小工具边界。
03
ADK-Rust 代理
规划工作流，并通过运行时流式传输每个关键步骤。
04
See compatibility notes
对拥有该能力的系统执行经过身份验证的操作。
05
已验证结果
技能的完成规则决定返回给用户的证据。
决策指南
代理如何将请求转化为正确操作。
这些路由直接来自技能说明。它们帮助模型识别意图并选择专注的工具或工作流，而不是在整个能力范围内即兴发挥。
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
经过验证的工作流
可重复的序列以实现有用结果。
工作流将多个工具调用组合成用户实际识别的任务。技能解释顺序和预期结果，而 ADK-Rust 通过共享运行时实时传输代理的进度。
013 次调用
查看 → 点击 → 验证
截图、交互、确认
022 次调用
填写表单
查找字段 → 填写全部
032 次调用
菜单操作
查找快捷键 → 按键执行
041 次调用
脚本自动化
复杂的 AppleScript/PowerShell 脚本
052 次调用
应用管理
列出 → 激活
工具边界
技能可能使用 50 个已记录工具。
此允许列表由技能声明。它使代理专注于完成此任务所需的操作，而 See compatibility notes 保留身份验证、验证和连接系统的责任。
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
工作规则
代理应做什么。
- 点击前务必截屏（确认目标可见）
- 优先使用 click_element/press_button 代替坐标点击（更可靠）
- 复杂多步任务前使用 get_tool_guide
- 使用 list_menu_bar 查找快捷键（比菜单导航更快）
- 操作后用截屏验证
操作边界
代理应避免什么。
- 未确认屏幕内容前勿点击
- 有辅助元素时勿用坐标点击
- 勿在错误字段输入（先检查 get_focused_element）
- 运行破坏性脚本前需用户确认
- 勿操作非允许列表中的应用（检查 policy_status）
安装并连接
将技能添加到其预期能力旁边。
安装仓库，使您的 ADK-Rust 技能加载器能发现它，连接 See compatibility notes，并确认声明的工具可用后，再让代理使用工作流。
安装技能
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useADK-Rust 加载形态
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;仓库的兼容性声明：需要 computer-use-mcp 服务器。支持 macOS（AppleScript/JXA）和 Windows（PowerShell）。需辅助功能权限。
官方文档
阅读完整的技能包。
仓库对其确切指令、示例、辅助脚本、资源、MCP 要求、许可证和后续更新保持权威。
源记录
此技能条目的仓库元数据。
- 许可证
- Apache-2.0
- 允许的工具
- 50
- 参考文献
- 3
- 修订
- d8fb7beeee4c
- 已更新
- 2026年5月31日