"what's on screen", "show me"?
screenshot
← Skill-Register
EntwicklungsabläufeÖffentliche Skills
Computer Use
Desktop-Automatisierung für KI-Agenten — Screenshot, Klick, Tippen, Scrollen, Accessibility-Bäume, Formularausfüllung, Menü-Navigation, Skripte (AppleScript/JXA/PowerShell), App-/Fenstermanagement. 49 Werkzeuge.
Was diese Skill lehrt
Ein wiederverwendbares Playbook für eine bestimmte Art von Arbeit.
Ein MCP-Server teilt einem Agenten mit, welche Aktionen verfügbar sind. Eine Skill fügt die Bewertung dieser Aktionen hinzu: wie man den Auftrag erkennt, welche Reihenfolge zu befolgen ist, was zu vermeiden ist und wie entschieden wird, dass das Ergebnis abgeschlossen ist.
Orchestrieren Sie die Steuerung von Desktop-Computern — machen Sie Screenshots, klicken/tippen/scrollen Sie, verwalten Sie Fenster und Apps, lesen Sie Barrierefreiheitsbäume, füllen Sie Formulare aus, führen Sie Skripte aus (AppleScript/JXA/PowerShell), verwalten Sie die Zwischenablage und navigieren Sie UI-Elemente. Verwenden Sie dies zur Automatisierung von Desktop-Aufgaben, Klicken von Buttons, Ausfüllen von Formularen, Lesen von Bildschirm-Inhalten,…
Architektur
Wie Computer Use einen ADK-Rust-Agenten anleitet.
Die Skill bleibt lesbar und portabel, weil sie Anweisungen enthält und keine Dienstanmeldeinformationen oder Geschäftsdaten. ADK-Rust stellt sie dem Agenten bereit, der Agent wählt aus seiner geprüften Werkzeuggrenze und der verbundene MCP-Server führt die authentifizierte Operation aus.
01
Benutzeranfrage
Der Agent erhält ein Ziel, das in Alltagssprache ausgedrückt wird.
02
Computer Use Fähigkeit
Passt die Absicht an, liefert den Entscheidungsleitfaden und schränkt die Werkzeuggrenze ein.
03
ADK-Rust Agent
Plant den Workflow und streamt jeden sinnvollen Schritt durch die Laufzeit.
04
See compatibility notes
Führt authentifizierte Operationen gegen das System aus, das die Fähigkeit besitzt.
05
Verifiziertes Ergebnis
Die Abschlussregeln der Skill bestimmen die Beweise, die dem Benutzer zurückgegeben werden.
Entscheidungsleitfaden
Wie der Agent eine Anfrage in die richtige Aktion umsetzt.
Diese Routen stammen direkt aus den Skill-Anweisungen. Sie helfen dem Modell, die Absicht zu erkennen und ein fokussiertes Werkzeug oder einen Workflow auszuwählen, anstatt über die gesamte Fähigkeitsoberfläche zu improvisieren.
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
Bewährte Workflows
Wiederholbare Abläufe für nützliche Ergebnisse.
Ein Workflow verbindet mehrere Werkzeugaufrufe zu einer Aufgabe, die der Benutzer tatsächlich erkennt. Die Skill erklärt die Abfolge und das beabsichtigte Ergebnis, während ADK-Rust den Fortschritt des Agenten durch die gemeinsame Laufzeit streamt.
013 Aufrufe
Sehen → Klicken → Verifizieren
Screenshot, Interaktion, Bestätigung
022 Aufrufe
Formular ausfüllen
Felder finden → alle ausfüllen
032 Aufrufe
Menüaktion
Shortcut finden → Taste drücken
041 Aufrufe
Skript-Automatisierung
Komplexe AppleScript/PowerShell-Skripte
052 Aufrufe
App-Verwaltung
Auflisten → aktivieren
Werkzeuggrenze
Die Skill kann 50 dokumentierte Werkzeuge verwenden.
Diese Whitelist wird von der Skill deklariert. Sie hält den Agenten auf die für diesen Auftrag benötigten Aktionen fokussiert, während See compatibility notes die Verantwortung für Authentifizierung, Validierung und das verbundene System behält.
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
Arbeitsregeln
Was der Agent tun sollte.
- Machen Sie immer einen Screenshot vor dem Klicken (prüfen Sie, ob das Ziel sichtbar ist)
- Bevorzugen Sie click_element/press_button gegenüber Koordinatenklicks (zuverlässiger)
- Verwenden Sie get_tool_guide vor komplexen mehrstufigen Aufgaben
- Nutzen Sie list_menu_bar, um Tastenkürzel zu finden (schneller als Menü-Navigation)
- Verifizieren Sie Aktionen mit einem Folge-Screenshot
Betriebsgrenzen
Was der Agent vermeiden sollte.
- Nicht klicken ohne vorherigen Sicht-Check
- Keine Koordinatenklicks, wenn Barrierefreiheits-Elemente verfügbar sind
- Nicht in falsche Felder tippen (zuerst get_focused_element prüfen)
- Keine destruktiven Skripte ohne Nutzerbestätigung ausführen
- Keine Interaktion mit Apps außerhalb der Erlaubnisliste (policy_status prüfen)
Installieren und verbinden
Fügen Sie die Skill neben der Fähigkeit hinzu, die sie erwartet.
Installieren Sie das Repository dort, wo Ihr ADK-Rust-Skill-Loader es entdecken kann, verbinden Sie See compatibility notes und bestätigen Sie, dass die deklarierten Werkzeuge verfügbar sind, bevor Sie den Agenten den Workflow verwenden lassen.
Skill installieren
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useADK-Rust Ladeform
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;Die Kompatibilitätserklärung des Repositories: Erfordert computer-use-mcp-Server. macOS (AppleScript/JXA) und Windows (PowerShell). Barrierefreiheits-Berechtigungen erforderlich.
Offizielle Dokumentation
Lesen Sie das vollständige Skill-Paket.
Das Repository bleibt autoritativ für seine genauen Anweisungen, Beispiele, Hilfsskripte, Assets, MCP-Anforderungen, Lizenz und spätere Updates.
Weiter erkunden
Mehr in entwicklungsabläufe.
Browser AutomationWeb-Operationen für AI-Agenten — Seiten lesen, Daten extrahieren, Screenshots erstellen, mit Formularen interagieren und strukturierte Inhalte über Headless Chromium scrapen.17 erlaubte WerkzeugeCI/CD Pipeline ManagementPipeline-Operationen für KI-Agenten — Builds überwachen, Fehler anhand von Logs debuggen, sichere Deployments auslösen und Release-Gates über mcp-cicd verwalten.8 erlaubte WerkzeugeCode Search & NavigationCode-Intelligenz für KI-Agenten — semantische Suche, Symbol-Lookup, Aufrufgraphen, Abhängigkeitsmapping, Blast-Radius-Analyse und Eigentümerauflösung via mcp-code-search.8 erlaubte Werkzeuge
Quelleneintrag
Repository-Metadaten für diesen Skill-Eintrag.
- Lizenz
- Apache-2.0
- Erlaubte Werkzeuge
- 50
- Referenzen
- 3
- Revision
- d8fb7beeee4c
- Aktualisiert
- 31. Mai 2026