डेवलपर वर्कफ़्लोसार्वजनिक स्किल्स

Computer Use

AI एजेंट्स के लिए डेस्कटॉप ऑटोमेशन — स्क्रीनशॉट, क्लिक, टाइप, स्क्रॉल, एक्सेसिबिलिटी ट्री, फॉर्म भरना, मेनू नेविगेशन, स्क्रिप्ट्स (AppleScript/JXA/PowerShell), ऐप/विंडो प्रबंधन। 49 टूल्स।

स्किल स्रोत खोलें आधिकारिक गाइड पढ़ें ↗

यह स्किल क्या सिखाता है

एक विशिष्ट प्रकार के कार्य के लिए पुन: उपयोग योग्य प्लेबुक।

एक MCP सर्वर एजेंट को बताता है कि कौन से क्रियाएं उपलब्ध हैं। एक स्किल उन क्रियाओं के आसपास निर्णय जोड़ता है: काम को कैसे पहचानें, कौन सा अनुक्रम पालन करें, क्या बचना है, और परिणाम पूरा होने का निर्णय कैसे लें।

डेस्कटॉप कंप्यूटर नियंत्रण का समन्वय करें — स्क्रीनशॉट लें, क्लिक/टाइप/स्क्रॉल करें, विंडोज़ और ऐप्स प्रबंधित करें, एक्सेसिबिलिटी ट्री पढ़ें, फॉर्म भरें, स्क्रिप्ट चलाएं (AppleScript/JXA/PowerShell), क्लिपबोर्ड प्रबंधित करें, और UI तत्वों में नेविगेट करें। डेस्कटॉप कार्यों को स्वचालित करते समय, बटन क्लिक करते समय, फॉर्म भरते समय, स्क्रीन सामग्री पढ़ते समय उपयोग करें।

आर्किटेक्चर

Computer Use ADK-Rust एजेंट का मार्गदर्शन कैसे करता है।

स्किल पठनीय और पोर्टेबल रहता है क्योंकि इसमें सेवा क्रेडेंशियल्स या बिजनेस डेटा के बजाय निर्देश होते हैं। ADK-Rust इसे एजेंट को प्रदान करता है, एजेंट अपने समीक्षित टूल सीमा से चुनता है, और कनेक्टेड MCP सर्वर प्रमाणीकृत ऑपरेशन करता है।

उपयोगकर्ता अनुरोध

एजेंट को सामान्य भाषा में व्यक्त एक लक्ष्य प्राप्त होता है।

→

Computer Use कौशल

इरादा से मेल खाता है, निर्णय मार्गदर्शिका प्रदान करता है, और टूल सीमा को सीमित करता है।

→

ADK-Rust एजेंट

वर्कफ़्लो की योजना बनाता है और रनटाइम के माध्यम से प्रत्येक महत्वपूर्ण चरण को स्ट्रीम करता है।

→

See compatibility notes

क्षमता के मालिक सिस्टम के खिलाफ प्रमाणीकृत ऑपरेशंस निष्पादित करता है।

→

सत्यापित परिणाम

स्किल के पूर्णता नियम उपयोगकर्ता को लौटाए गए प्रमाण को आकार देते हैं।

पोर्टेबल निर्देश: SKILL.md · क्षमता सीमा: See compatibility notes · अनुमत टूल्स: 50

निर्णय मार्गदर्शिका

एजेंट अनुरोध को सही क्रिया में कैसे बदलता है।

ये मार्ग सीधे स्किल निर्देशों से आते हैं। वे मॉडल को इरादा पहचानने और एक केंद्रित टूल या वर्कफ़्लो चुनने में मदद करते हैं बजाय कि पूरी क्षमता सतह पर सहज improvisation के।

"what's on screen", "show me"?

screenshot

"click", "press button"?

click_element / left_click

"type", "enter text"?

type / set_value

"fill form"?

fill_form

"open app"?

open_application

"menu", "File Save"?

list_menu_bar

"copy", "paste", "clipboard"?

read_clipboard / write_clipboard / key("command+c")

"scroll"?

scroll

प्रमाणित वर्कफ़्लो

उपयोगी परिणामों के लिए दोहराए जाने वाले अनुक्रम।

एक वर्कफ़्लो कई टूल कॉल्स को एक ऐसे कार्य में जोड़ता है जिसे उपयोगकर्ता वास्तव में पहचानता है। स्किल अनुक्रम और इच्छित परिणाम को समझाता है जबकि ADK-Rust एजेंट की प्रगति को साझा रनटाइम के माध्यम से स्ट्रीम करता है।

013 कॉल्स

देखें → क्लिक करें → सत्यापित करें

स्क्रीनशॉट लें, इंटरैक्ट करें, पुष्टि करें

022 कॉल्स

फॉर्म भरें

फील्ड खोजें → सभी भरें

032 कॉल्स

मेनू क्रिया

शॉर्टकट खोजें → की दबाएं

041 कॉल्स

स्क्रिप्ट स्वचालन

जटिल AppleScript/PowerShell

052 कॉल्स

ऐप प्रबंधन

लिस्ट करें → सक्रिय करें

टूल सीमा

स्किल 50 दस्तावेजीकृत टूल्स का उपयोग कर सकता है।

यह अनुमति सूची स्किल द्वारा घोषित की गई है। यह एजेंट को इस कार्य के लिए आवश्यक क्रियाओं पर केंद्रित रखती है जबकि See compatibility notes प्रमाणीकरण, सत्यापन, और कनेक्टेड सिस्टम की जिम्मेदारी रखता है।

screenshot

zoom

doctor

policy_status

agent_pointer

openai_computer

left_click

right_click

middle_click

double_click

triple_click

mouse_move

left_click_drag

left_mouse_down

left_mouse_up

scroll

cursor_position

type

key

hold_key

read_clipboard

write_clipboard

open_application

list_running_apps

hide_app

unhide_app

get_window

get_cursor_window

list_windows

get_frontmost_app

activate_app

activate_window

get_display_size

list_displays

wait

get_ui_tree

get_focused_element

find_element

click_element

set_value

press_button

list_menu_bar

select_menu_item

fill_form

run_script

get_app_dictionary

get_tool_guide

get_app_capabilities

list_spaces

get_active_space

कार्य नियम

एजेंट को क्या करना चाहिए।

क्लिक करने से पहले हमेशा स्क्रीनशॉट लें (लक्ष्य दृश्य में है यह सत्यापित करें)
कोऑर्डिनेट क्लिक की बजाय click_element/press_button का उपयोग करें (अधिक विश्वसनीय)
जटिल बहु-चरण कार्यों से पहले get_tool_guide का उपयोग करें
कीबोर्ड शॉर्टकट खोजने के लिए list_menu_bar का उपयोग करें (मेनू नेविगेशन से तेज़)
कार्रवाइयों की पुष्टि के लिए फॉलो-अप स्क्रीनशॉट लें

ऑपरेटिंग सीमाएँ

एजेंट को क्या बचना चाहिए।

स्क्रीन देखे बिना क्लिक न करें
जब एक्सेसिबिलिटी तत्व उपलब्ध हों तो कोऑर्डिनेट क्लिक न करें
गलत फ़ील्ड में टाइप न करें (पहले get_focused_element जांचें)
उपयोगकर्ता पुष्टि के बिना विनाशकारी स्क्रिप्ट न चलाएं
अनुमति सूची के बाहर ऐप्स के साथ इंटरैक्ट न करें (policy_status जांचें)

इंस्टॉल करें और कनेक्ट करें

स्किल को उस क्षमता के बगल में जोड़ें जिसकी वह अपेक्षा करता है।

जहाँ आपका ADK-Rust स्किल लोडर इसे खोज सके, उस रिपॉजिटरी को इंस्टॉल करें, See compatibility notes से कनेक्ट करें, और एजेंट से वर्कफ़्लो उपयोग करने से पहले घोषित टूल्स उपलब्ध होने की पुष्टि करें।

स्किल इंस्टॉल करें

git clone https://github.com/zavora-ai/skill-computer-use.git \
  ~/.skills/skills/computer-use

ADK-Rust लोडिंग आकार

let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;

let agent = LlmAgentBuilder::new("agent")
    .instruction(skill.instructions())
    .tools(skill.allowed_tools(toolset)?)
    .build()?;

रिपॉजिटरी का संगतता कथन: computer-use-mcp सर्वर आवश्यक। macOS (AppleScript/JXA) और Windows (PowerShell)। एक्सेसिबिलिटी अनुमतियाँ आवश्यक।

आधिकारिक दस्तावेज़

पूर्ण स्किल पैकेज पढ़ें।

रिपॉजिटरी अपने सटीक निर्देशों, उदाहरणों, सहायक स्क्रिप्ट्स, एसेट्स, MCP आवश्यकताओं, लाइसेंस, और बाद के अपडेट के लिए प्राधिकृत बनी रहती है।

अवलोकन ↗README.md स्किल निर्देश ↗SKILL.md क्रॉस Mcp वर्कफ़्लो ↗references/cross-mcp-workflows.md उदाहरण ↗references/examples.md टूल अनुक्रम ↗references/tool-sequences.md एक्सेसिबिलिटी जांच ↗scripts/accessibility_check.py कार्य रिपोर्ट ↗assets/task-report.md

खोज जारी रखें

डेवलपर वर्कफ़्लो में अधिक।

सभी स्किल्स को ब्राउज़ करें →

Browser Automationएआई एजेंटों के लिए वेब संचालन — पृष्ठ पढ़ें, डेटा निकालें, स्क्रीनशॉट लें, फॉर्म के साथ इंटरैक्ट करें, और हेडलेस क्रोमियम के माध्यम से संरचित सामग्री स्क्रैप करें।17 अनुमत टूल्स CI/CD Pipeline ManagementAI एजेंट्स के लिए पाइपलाइन संचालन — बिल्ड मॉनिटर करें, लॉग से विफलताओं को डिबग करें, सुरक्षित डिप्लॉयमेंट ट्रिगर करें, और mcp-cicd के माध्यम से रिलीज गेट्स प्रबंधित करें।8 अनुमत टूल्स Code Search & NavigationAI एजेंट्स के लिए कोड इंटेलिजेंस — सेमांटिक सर्च, सिंबल लुकअप, कॉल ग्राफ, डिपेंडेंसी मैपिंग, ब्लास्ट रेडियस एनालिसिस, और ओनरशिप रिज़ॉल्यूशन mcp-code-search के माध्यम से।8 अनुमत टूल्स

स्रोत रिकॉर्ड

इस स्किल प्रविष्टि के लिए रिपॉजिटरी मेटाडेटा।

सार्वजनिक रिपॉजिटरी देखें ↗

लाइसेंस: Apache-2.0
अनुमत टूल्स: 50
संदर्भ: 3
संशोधन: d8fb7beeee4c
अपडेट किया गया: 31 मई 2026