Flux de développementCompétences publiques

Computer Use

Automatisation de bureau pour agents IA — capture d’écran, clic, saisie, défilement, arbres d’accessibilité, remplissage de formulaires, navigation dans les menus, scripts (AppleScript/JXA/PowerShell), gestion d’applications/fenêtres. 49 outils.

Ouvrir la source de la compétence Lisez le guide officiel ↗

Ce que cette compétence enseigne

Un guide réutilisable pour un type de travail spécifique.

Un serveur MCP indique à un agent quelles actions sont disponibles. Une compétence ajoute le jugement autour de ces actions : comment reconnaître la tâche, quelle séquence suivre, quoi éviter, et comment décider que le résultat est complet.

Orchestrez le contrôle d’ordinateur de bureau — capturez des captures d’écran, cliquez/tapez/faites défiler, gérez fenêtres et applications, lisez les arbres d’accessibilité, remplissez des formulaires, exécutez des scripts (AppleScript/JXA/PowerShell), gérez le presse-papiers et naviguez dans les éléments UI. À utiliser pour automatiser des tâches desktop, cliquer sur des boutons, remplir des formulaires, lire le contenu écran…

Architecture

Comment Computer Use guide un agent ADK-Rust.

La compétence reste lisible et portable car elle contient des instructions plutôt que des identifiants de service ou des données métier. ADK-Rust la fournit à l'agent, l'agent choisit dans sa limite d'outil examinée, et le serveur MCP connecté exécute l'opération authentifiée.

Requête utilisateur

L'agent reçoit un objectif exprimé en langage courant.

→

Compétence Computer Use

Correspond à l'intention, fournit le guide de décision, et restreint la limite d'outil.

→

Agent ADK-Rust

Planifie le flux de travail et diffuse chaque étape significative via le runtime.

→

See compatibility notes

Exécute des opérations authentifiées contre le système propriétaire de la capacité.

→

Résultat vérifié

Les règles de complétion de la compétence façonnent les preuves retournées à l'utilisateur.

Instructions portables : SKILL.md · Limite de capacité : See compatibility notes · Outils autorisés : 50

Guide de décision

Comment l'agent transforme une requête en action appropriée.

Ces routes proviennent directement des instructions de la compétence. Elles aident le modèle à reconnaître l'intention et à sélectionner un outil ou un flux de travail ciblé au lieu d'improviser sur toute la surface de capacité.

"what's on screen", "show me"?

screenshot

"click", "press button"?

click_element / left_click

"type", "enter text"?

type / set_value

"fill form"?

fill_form

"open app"?

open_application

"menu", "File Save"?

list_menu_bar

"copy", "paste", "clipboard"?

read_clipboard / write_clipboard / key("command+c")

"scroll"?

scroll

Flux de travail éprouvés

Séquences répétables pour des résultats utiles.

Un flux de travail regroupe plusieurs appels d'outils en une tâche que l'utilisateur reconnaît réellement. La compétence explique la séquence et le résultat attendu tandis qu'ADK-Rust diffuse la progression de l'agent via le runtime partagé.

013 appels

Voir → Cliquer → Vérifier

Capture d’écran, interaction, confirmation

022 appels

Remplir un formulaire

Trouver les champs → remplir tous

032 appels

Action menu

Trouver raccourci → presser la touche

041 appels

Automatisation script

Scripts complexes AppleScript/PowerShell

052 appels

Gestion d’applications

Lister → activer

Limite d'outil

La compétence peut utiliser 50 outils documentés.

Cette liste blanche est déclarée par la compétence. Elle maintient l'agent concentré sur les actions nécessaires pour ce travail tandis que See compatibility notes conserve la responsabilité de l'authentification, de la validation et du système connecté.

screenshot

zoom

doctor

policy_status

agent_pointer

openai_computer

left_click

right_click

middle_click

double_click

triple_click

mouse_move

left_click_drag

left_mouse_down

left_mouse_up

scroll

cursor_position

type

key

hold_key

read_clipboard

write_clipboard

open_application

list_running_apps

hide_app

unhide_app

get_window

get_cursor_window

list_windows

get_frontmost_app

activate_app

activate_window

get_display_size

list_displays

wait

get_ui_tree

get_focused_element

find_element

click_element

set_value

press_button

list_menu_bar

select_menu_item

fill_form

run_script

get_app_dictionary

get_tool_guide

get_app_capabilities

list_spaces

get_active_space

Règles de travail

Ce que l'agent doit faire.

Toujours faire une capture d’écran avant de cliquer (vérifier que la cible est visible)
Privilégiez click_element/press_button plutôt que des clics par coordonnées (plus fiable)
Utilisez get_tool_guide avant les tâches complexes multi-étapes
Utilisez list_menu_bar pour trouver les raccourcis clavier (plus rapide que la navigation dans les menus)
Vérifiez les actions avec une capture d’écran de suivi

Limites opérationnelles

Ce que l'agent doit éviter.

Ne cliquez pas sans voir l’écran d’abord
N’utilisez pas de clics par coordonnées si des éléments d’accessibilité sont disponibles
Ne tapez pas dans le mauvais champ (vérifiez get_focused_element d’abord)
Ne lancez pas de scripts destructeurs sans confirmation utilisateur
N’interagissez pas avec des applications hors liste autorisée (vérifiez policy_status)

Installer et connecter

Ajoutez la compétence à côté de la capacité qu'elle attend.

Installez le dépôt où votre chargeur de compétences ADK-Rust peut le découvrir, connectez See compatibility notes, et confirmez que les outils déclarés sont disponibles avant de demander à l'agent d'utiliser le flux de travail.

Installer la compétence

git clone https://github.com/zavora-ai/skill-computer-use.git \
  ~/.skills/skills/computer-use

Forme de chargement ADK-Rust

let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;

let agent = LlmAgentBuilder::new("agent")
    .instruction(skill.instructions())
    .tools(skill.allowed_tools(toolset)?)
    .build()?;

La déclaration de compatibilité du dépôt : Nécessite un serveur computer-use-mcp. macOS (AppleScript/JXA) et Windows (PowerShell). Permissions d’accessibilité requises.

Documentation officielle

Lisez le package complet de la compétence.

Le dépôt reste la référence pour ses instructions exactes, exemples, scripts d'aide, ressources, exigences MCP, licence et mises à jour ultérieures.

Présentation ↗README.md Instructions de la compétence ↗SKILL.md Workflows inter-Mcp ↗references/cross-mcp-workflows.md Exemples ↗references/examples.md Séquences d’outils ↗references/tool-sequences.md Contrôle accessibilité ↗scripts/accessibility_check.py Rapport de tâche ↗assets/task-report.md

Continuez à explorer

Plus dans flux de développement.

Parcourir toutes les compétences →

Browser AutomationOpérations web pour agents IA — lire des pages, extraire des données, prendre des captures d'écran, interagir avec des formulaires et scraper du contenu structuré via Chromium sans interface.17 outils autorisés CI/CD Pipeline ManagementOpérations de pipeline pour agents IA — surveillez les builds, déboguez les échecs à partir des logs, déclenchez des déploiements sécurisés et gérez les portes de release via mcp-cicd.8 outils autorisés Code Search & NavigationIntelligence de code pour agents IA — recherche sémantique, recherche de symboles, graphes d’appel, cartographie des dépendances, analyse de l’impact, et résolution des propriétaires via mcp-code-search.8 outils autorisés

Enregistrement source

Métadonnées du dépôt pour cette entrée de compétence.

Voir le dépôt public ↗

Licence: Apache-2.0
Outils autorisés: 50
Références: 3
Révision: d8fb7beeee4c
Mis à jour: 31 mai 2026