"what's on screen", "show me"?
screenshot
← スキルレジストリに戻る
開発ワークフロー公開スキル
Computer Use
AIエージェント向けデスクトップ自動化 — スクリーンショット、クリック、入力、スクロール、アクセシビリティツリー、フォーム入力、メニュー操作、スクリプト（AppleScript/JXA/PowerShell）、アプリ/ウィンドウ管理。49ツール。
このスキルが教えること
特定の作業に再利用できるプレイブックです。
MCPサーバーはエージェントに利用可能なアクションを伝えます。スキルはそれらのアクションに関する判断を追加します：仕事の認識方法、従うべき順序、避けるべきこと、結果が完了したと判断する方法。
デスクトップコンピューター制御をオーケストレーションします — スクリーンショット取得、クリック/タイプ/スクロール、ウィンドウとアプリ管理、アクセシビリティツリーの読み取り、フォーム入力、スクリプト実行（AppleScript/JXA/PowerShell）、クリップボード管理、UI要素のナビゲーションを行います。デスクトップ作業の自動化、ボタンのクリック、フォーム入力、画面内容の読み取り時に使用してください。
アーキテクチャ
Computer UseがADK-Rustエージェントをどのように導くか。
スキルはサービス認証情報やビジネスデータではなく指示を含むため読みやすくポータブルです。ADK-Rustがエージェントに提供し、エージェントはレビュー済みのツール境界から選択し、接続されたMCPサーバーが認証された操作を実行します。
01
ユーザーリクエスト
エージェントは通常の言語で表現された目標を受け取ります。
02
Computer Use スキル
意図に合致し、意思決定ガイドを提供し、ツールの境界を絞り込みます。
03
ADK-Rustエージェント
ワークフローを計画し、各重要なステップをランタイムにストリームします。
04
See compatibility notes
機能を所有するシステムに対して認証された操作を実行します。
05
検証済みの結果
スキルの完了ルールはユーザーに返される証拠を形作ります。
意思決定ガイド
エージェントがリクエストを適切なアクションに変換する方法。
これらのルートはスキルの指示から直接来ています。モデルが意図を認識し、全機能の即興ではなく特定のツールやワークフローを選択するのに役立ちます。
"click", "press button"?
click_element / left_click
"type", "enter text"?
type / set_value
"fill form"?
fill_form
"open app"?
open_application
"menu", "File Save"?
list_menu_bar
"copy", "paste", "clipboard"?
read_clipboard / write_clipboard / key("command+c")
"scroll"?
scroll
実証済みのワークフロー
有用な結果のための繰り返し可能なシーケンス。
ワークフローは複数のツール呼び出しをユーザーが実際に認識するタスクに結びつけます。スキルはその順序と意図された結果を説明し、ADK-Rustは共有ランタイムを通じてエージェントの進行状況をストリームします。
013の呼び出し
見る → クリック → 確認
スクリーンショット取得、操作、確認
022の呼び出し
フォーム入力
フィールド検出 → 全入力完了
032の呼び出し
メニュー操作
ショートカット検出 → キー操作
041の呼び出し
スクリプト自動化
複雑なAppleScript/PowerShell実行
052の呼び出し
アプリ管理
一覧表示 → アクティベート
ツールの境界
スキルは50の文書化されたツールを使用する場合があります。
この許可リストはスキルによって宣言されます。エージェントがこの仕事に必要なアクションに集中し、See compatibility notesが認証、検証、接続されたシステムの責任を保持します。
screenshot
zoom
doctor
policy_status
agent_pointer
openai_computer
left_click
right_click
middle_click
double_click
triple_click
mouse_move
left_click_drag
left_mouse_down
left_mouse_up
scroll
cursor_position
type
key
hold_key
read_clipboard
write_clipboard
open_application
list_running_apps
hide_app
unhide_app
get_window
get_cursor_window
list_windows
get_frontmost_app
activate_app
activate_window
get_display_size
list_displays
wait
get_ui_tree
get_focused_element
find_element
click_element
set_value
press_button
list_menu_bar
select_menu_item
fill_form
run_script
get_app_dictionary
get_tool_guide
get_app_capabilities
list_spaces
get_active_space
作業ルール
エージェントがすべきこと。
- クリック前に必ずスクリーンショットを撮る（対象が見えていることを確認）
- 座標クリックよりclick_element/press_buttonを優先する（信頼性向上）
- 複雑な多段階タスク前にget_tool_guideを使う
- list_menu_barでキーボードショートカットを探す（メニュー操作より高速）
- 操作後はフォローアップのスクリーンショットで確認する
運用の境界
エージェントが避けるべきこと。
- 画面を見ずにクリックしないこと
- アクセシビリティ要素がある場合は座標クリックを使わないこと
- 誤ったフィールドにタイプしない（get_focused_elementを先に確認）
- ユーザー確認なしに破壊的スクリプトを実行しないこと
- 許可リスト外のアプリと操作しない（policy_statusを確認）
インストールと接続
期待される機能の隣にスキルを追加してください。
ADK-Rustスキルローダーが検出できるリポジトリをインストールし、See compatibility notesに接続し、宣言されたツールが利用可能であることを確認してからエージェントにワークフローを使用させてください。
スキルをインストール
git clone https://github.com/zavora-ai/skill-computer-use.git \
~/.skills/skills/computer-useADK-Rust読み込みの形状
let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;
let agent = LlmAgentBuilder::new("agent")
.instruction(skill.instructions())
.tools(skill.allowed_tools(toolset)?)
.build()?;リポジトリの互換性声明: computer-use-mcpサーバーが必要です。macOS（AppleScript/JXA）およびWindows（PowerShell）対応。アクセシビリティ権限が必要。
公式ドキュメント
完全なスキルパッケージを読む。
リポジトリは正確な指示、例、ヘルパースクリプト、アセット、MCP要件、ライセンス、後の更新に関して権威を保持します。
探索を続ける
開発ワークフローでさらに詳しく。
Browser AutomationAIエージェント向けウェブ操作 — ページ読み取り、データ抽出、スクリーンショット取得、フォーム操作、ヘッドレスChromiumによる構造化コンテンツのスクレイピング。17の許可されたツールCI/CD Pipeline ManagementAIエージェント向けのパイプライン操作 — ビルドの監視、ログからの失敗原因のデバッグ、安全なデプロイのトリガー、mcp-cicdを通じたリリースゲートの管理。8の許可されたツールCode Search & NavigationAIエージェント向けコードインテリジェンス — セマンティック検索、シンボル参照、コールグラフ、依存関係マッピング、影響範囲分析、所有権解決をmcp-code-search経由で提供。8の許可されたツール
ソース記録
このスキルエントリのリポジトリメタデータ。
- ライセンス
- Apache-2.0
- 許可されたツール
- 50
- 参照
- 3
- リビジョン
- d8fb7beeee4c
- 更新済み
- 2026年5月31日