"what's on screen", "show me"?
screenshot
← Registro de skills
Fluxos de desenvolvimentoSkills públicas
Computer Use
Automação de desktop para agentes de IA — captura de tela, clique, digitação, rolagem, árvores de acessibilidade, preenchimento de formulários, navegação em menus, scripts (AppleScript/JXA/PowerShell), gerenciamento de apps/janelas. 49 ferramentas.
O que esta skill ensina
Um roteiro reutilizável para um tipo específico de trabalho.
Um servidor MCP informa a um agente quais ações estão disponíveis. Uma skill adiciona o julgamento em torno dessas ações: como reconhecer o trabalho, qual sequência seguir, o que evitar e como decidir que o resultado está completo.
Orquestre controle de computador desktop — tire screenshots, clique/digite/role, gerencie janelas e apps, leia árvores de acessibilidade, preencha formulários, execute scripts (AppleScript/JXA/PowerShell), gerencie clipboard e navegue por elementos da UI. Use ao automatizar tarefas desktop, clicar em botões, preencher formulários, ler conteúdo da tela…
Arquitetura
Como Computer Use orienta um agente ADK-Rust.
A skill permanece legível e portátil porque contém instruções em vez de credenciais de serviço ou dados de negócio. O ADK-Rust a fornece ao agente, o agente escolhe dentro do limite de ferramentas revisado e o servidor MCP conectado executa a operação autenticada.
01
Solicitação do usuário
O agente recebe um objetivo expresso em linguagem comum.
02
Habilidade Computer Use
Corresponde à intenção, fornece o guia de decisão e restringe o limite da ferramenta.
03
Agente ADK-Rust
Planeja o fluxo de trabalho e transmite cada passo significativo pelo runtime.
04
See compatibility notes
Executa operações autenticadas contra o sistema que possui a capacidade.
05
Resultado verificado
As regras de conclusão da skill moldam as evidências retornadas ao usuário.
Guia de decisão
Como o agente transforma uma solicitação na ação correta.
Essas rotas vêm diretamente das instruções da skill. Elas ajudam o modelo a reconhecer a intenção e selecionar uma ferramenta ou fluxo de trabalho focado em vez de improvisar por toda a superfície da capacidade.
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
Fluxos de trabalho comprovados
Sequências repetíveis para resultados úteis.
Um fluxo de trabalho une várias chamadas de ferramentas em uma tarefa que o usuário realmente reconhece. A skill explica a sequência e o resultado pretendido enquanto o ADK-Rust transmite o progresso do agente pelo runtime compartilhado.
013 chamadas
Ver → Clicar → Verificar
Captura de tela, interagir, confirmar
022 chamadas
Preencher Formulário
Encontrar campos → preencher todos
032 chamadas
Ação de Menu
Encontrar atalho → pressionar tecla
041 chamadas
Automação de Script
AppleScript/PowerShell complexos
052 chamadas
Gerenciamento de App
Listar → ativar
Limite da ferramenta
A skill pode usar 50 ferramentas documentadas.
Esta lista de permissões é declarada pela skill. Ela mantém o agente focado nas ações necessárias para este trabalho enquanto See compatibility notes mantém a responsabilidade pela autenticação, validação e sistema conectado.
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
Regras de trabalho
O que o agente deve fazer.
- Sempre tire screenshot antes de clicar (verifique se o alvo está visível)
- Prefira click_element/press_button em vez de cliques por coordenadas (mais confiável)
- Use get_tool_guide antes de tarefas complexas com múltiplos passos
- Use list_menu_bar para encontrar atalhos de teclado (mais rápido que navegar no menu)
- Verifique ações com screenshot de acompanhamento
Limites operacionais
O que o agente deve evitar.
- Não clique sem ver a tela primeiro
- Não use cliques por coordenadas quando elementos de acessibilidade estiverem disponíveis
- Não digite no campo errado (verifique get_focused_element primeiro)
- Não execute scripts destrutivos sem confirmação do usuário
- Não interaja com apps fora da lista permitida (verifique policy_status)
Instalar e conectar
Adicione a skill ao lado da capacidade que ela espera.
Instale o repositório onde seu carregador de skills ADK-Rust possa descobri-lo, conecte See compatibility notes e confirme que as ferramentas declaradas estão disponíveis antes de pedir ao agente para usar o fluxo de trabalho.
Instalar a skill
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useFormato de carregamento ADK-Rust
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;A declaração de compatibilidade do repositório: Requer servidor computer-use-mcp. macOS (AppleScript/JXA) e Windows (PowerShell). Permissões de acessibilidade necessárias.
Documentação oficial
Leia o pacote completo da skill.
O repositório permanece autoritativo para suas instruções exatas, exemplos, scripts auxiliares, recursos, requisitos MCP, licença e atualizações posteriores.
Continue explorando
Mais em fluxos de desenvolvimento.
Browser AutomationOperações web para agentes de IA — ler páginas, extrair dados, capturar screenshots, interagir com formulários e raspar conteúdo estruturado via Chromium headless.17 ferramentas permitidasCI/CD Pipeline ManagementOperações de pipeline para agentes de IA — monitore builds, depure falhas a partir dos logs, acione implantações seguras e gerencie gates de release via mcp-cicd.8 ferramentas permitidasCode Search & NavigationInteligência de código para agentes de IA — busca semântica, consulta de símbolos, gráficos de chamadas, mapeamento de dependências, análise de raio de impacto e resolução de propriedade via mcp-code-search.8 ferramentas permitidas
Registro da fonte
Metadados do repositório para esta entrada da skill.
- Licença
- Apache-2.0
- Ferramentas permitidas
- 50
- Referências
- 3
- Revisão
- d8fb7beeee4c
- Atualizado
- 31 de mai. de 2026