"what's on screen", "show me"?
screenshot
← Registro de skills
Flujos de desarrolloSkills públicas
Computer Use
Automatización de escritorio para agentes de IA: captura de pantalla, clic, tipeo, desplazamiento, árboles de accesibilidad, llenado de formularios, navegación de menús, scripts (AppleScript/JXA/PowerShell), gestión de aplicaciones/ventanas. 49 herramientas.
Qué enseña esta habilidad
Un manual reutilizable para un tipo específico de trabajo.
Un servidor MCP indica a un agente qué acciones están disponibles. Una habilidad añade el juicio alrededor de esas acciones: cómo reconocer el trabajo, qué secuencia seguir, qué evitar y cómo decidir que el resultado está completo.
Orquesta control de computadora de escritorio — toma capturas de pantalla, clickea/teclea/scroll, gestiona ventanas y apps, lee árboles de accesibilidad, llena formularios, ejecuta scripts (AppleScript/JXA/PowerShell), maneja portapapeles y navega elementos UI. Úsalo para automatizar tareas de escritorio, clicar botones, llenar formularios, leer contenido de pantalla…
Arquitectura
Cómo Computer Use guía a un agente ADK-Rust.
La habilidad se mantiene legible y portátil porque contiene instrucciones en lugar de credenciales de servicio o datos de negocio. ADK-Rust la suministra al agente, el agente elige dentro de su límite de herramientas revisado y el servidor MCP conectado realiza la operación autenticada.
01
Solicitud del usuario
El agente recibe un objetivo expresado en lenguaje común.
02
Habilidad Computer Use
Coincide con la intención, suministra la guía de decisiones y limita el límite de herramientas.
03
Agente ADK-Rust
Planifica el flujo de trabajo y transmite cada paso significativo a través del entorno de ejecución.
04
See compatibility notes
Ejecuta operaciones autenticadas contra el sistema que posee la capacidad.
05
Resultado verificado
Las reglas de finalización de la habilidad moldean la evidencia devuelta al usuario.
Guía de decisiones
Cómo el agente convierte una solicitud en la acción correcta.
Estas rutas provienen directamente de las instrucciones de la habilidad. Ayudan al modelo a reconocer la intención y seleccionar una herramienta o flujo de trabajo enfocado en lugar de improvisar en toda la superficie de capacidad.
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
Flujos de trabajo probados
Secuencias repetibles para resultados útiles.
Un flujo de trabajo une varias llamadas a herramientas en una tarea que el usuario realmente reconoce. La habilidad explica la secuencia y el resultado esperado mientras ADK-Rust transmite el progreso del agente a través del entorno de ejecución compartido.
013 llamadas
Ver → Clicar → Verificar
Captura de pantalla, interactuar, confirmar
022 llamadas
Llenar formulario
Encontrar campos → llenar todos
032 llamadas
Acción de menú
Encontrar atajo → presionar tecla
041 llamadas
Automatización con script
Scripts complejos AppleScript/PowerShell
052 llamadas
Gestión de apps
Listar → activar
Límite de herramienta
La habilidad puede usar 50 herramientas documentadas.
Esta lista blanca es declarada por la habilidad. Mantiene al agente enfocado en las acciones necesarias para este trabajo mientras See compatibility notes retiene la responsabilidad de autenticación, validación y el sistema conectado.
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
Reglas de trabajo
Qué debe hacer el agente.
- Siempre tomar captura antes de clicar (verificar que el objetivo es visible)
- Preferir click_element/press_button sobre clics por coordenadas (más confiable)
- Usar get_tool_guide antes de tareas complejas multi-paso
- Usar list_menu_bar para encontrar atajos de teclado (más rápido que navegar menús)
- Verificar acciones con captura posterior
Límites operativos
Qué debe evitar el agente.
- No clicar sin ver primero la pantalla
- No usar clics por coordenadas si hay elementos de accesibilidad disponibles
- No teclear en campo incorrecto (verificar get_focused_element primero)
- No ejecutar scripts destructivos sin confirmación del usuario
- No interactuar con apps fuera de la lista permitida (verificar policy_status)
Instalar y conectar
Agrega la habilidad junto a la capacidad que espera.
Instala el repositorio donde tu cargador de habilidades ADK-Rust pueda descubrirlo, conecta See compatibility notes y confirma que las herramientas declaradas están disponibles antes de pedir al agente que use el flujo de trabajo.
Instalar la habilidad
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useForma de carga ADK-Rust
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;La declaración de compatibilidad del repositorio: Requiere servidor computer-use-mcp. macOS (AppleScript/JXA) y Windows (PowerShell). Permisos de accesibilidad requeridos.
Documentación oficial
Lee el paquete completo de la habilidad.
El repositorio sigue siendo la autoridad para sus instrucciones exactas, ejemplos, scripts auxiliares, recursos, requisitos MCP, licencia y actualizaciones posteriores.
Seguir explorando
Más en flujos de desarrollo.
Browser AutomationOperaciones web para agentes de IA: leer páginas, extraer datos, tomar capturas de pantalla, interactuar con formularios y raspar contenido estructurado mediante Chromium sin interfaz gráfica.17 herramientas permitidasCI/CD Pipeline ManagementOperaciones de pipeline para agentes de IA: monitorea compilaciones, depura fallos desde los registros, activa despliegues seguros y gestiona puertas de lanzamiento vía mcp-cicd.8 herramientas permitidasCode Search & NavigationInteligencia de código para agentes de IA: búsqueda semántica, búsqueda de símbolos, gráficos de llamadas, mapeo de dependencias, análisis de radio de impacto y resolución de propiedad vía mcp-code-search.8 herramientas permitidas
Registro de origen
Metadatos del repositorio para esta entrada de habilidad.
- Licencia
- Apache-2.0
- Herramientas permitidas
- 50
- Referencias
- 3
- Revisión
- d8fb7beeee4c
- Actualizado
- 31 may 2026