مسارات عمل التطويرالمهارات العامة

Computer Use

أتمتة سطح المكتب لوكلاء الذكاء الاصطناعي — لقطة شاشة، نقرة، كتابة، تمرير، أشجار الوصول، تعبئة النماذج، التنقل في القوائم، السكريبتات (AppleScript/JXA/PowerShell)، إدارة التطبيقات/النوافذ. 49 أداة.

افتح مصدر المهارة اقرأ الدليل الرسمي ↗

ما تعلمه هذه المهارة

دليل قابل لإعادة الاستخدام لنوع معين من العمل.

يخبر خادم MCP الوكيل بالإجراءات المتاحة. تضيف المهارة الحكم حول تلك الإجراءات: كيفية التعرف على المهمة، التسلسل الذي يجب اتباعه، ما يجب تجنبه، وكيفية تحديد اكتمال النتيجة.

تنسيق التحكم في الحاسوب المكتبي — التقاط لقطات شاشة، النقر/الكتابة/التمرير، إدارة النوافذ والتطبيقات، قراءة شجرة الوصول، ملء النماذج، تشغيل السكريبتات (AppleScript/JXA/PowerShell)، إدارة الحافظة، والتنقل في عناصر واجهة المستخدم. استخدمه عند أتمتة مهام سطح المكتب، النقر على الأزرار، ملء النماذج، قراءة محتوى الشاشة،…

الهيكلية

كيف يوجه Computer Use وكيل ADK-Rust.

تبقى المهارة قابلة للقراءة وقابلة للنقل لأنها تحتوي على تعليمات بدلاً من بيانات اعتماد الخدمة أو بيانات العمل. يوفرها ADK-Rust للوكيل، يختار الوكيل من حدود الأدوات المراجعة، ويؤدي خادم MCP المتصل العملية المصادق عليها.

طلب المستخدم

يتلقى الوكيل هدفًا معبرًا عنه بلغة عادية.

→

مهارة Computer Use

يطابق النية، يزود دليل القرار، ويضيق حدود الأداة.

→

وكيل ADK-Rust

يخطط سير العمل ويبث كل خطوة ذات معنى عبر بيئة التشغيل.

→

See compatibility notes

ينفذ العمليات المصادق عليها ضد النظام الذي يمتلك القدرة.

→

النتيجة الموثوقة

تشكل قواعد إكمال المهارة الأدلة التي تُعاد إلى المستخدم.

تعليمات محمولة: SKILL.md · حدود القدرة: See compatibility notes · الأدوات المسموح بها: 50

دليل القرار

كيف يحول الوكيل الطلب إلى الإجراء الصحيح.

تأتي هذه المسارات مباشرة من تعليمات المهارة. تساعد النموذج على التعرف على النية واختيار أداة أو سير عمل مركّز بدلاً من الارتجال عبر كامل سطح القدرة.

"what's on screen", "show me"?

screenshot

"click", "press button"?

click_element / left_click

"type", "enter text"?

type / set_value

"fill form"?

fill_form

"open app"?

open_application

"menu", "File Save"?

list_menu_bar

"copy", "paste", "clipboard"?

read_clipboard / write_clipboard / key("command+c")

"scroll"?

scroll

سير عمل مثبتة

تسلسلات قابلة للتكرار لنتائج مفيدة.

يربط سير العمل عدة استدعاءات أدوات في مهمة يتعرف عليها المستخدم فعليًا. تشرح المهارة التسلسل والنتيجة المقصودة بينما يقوم ADK-Rust ببث تقدم الوكيل عبر بيئة التشغيل المشتركة.

013 استدعاء

رؤية → نقر → تحقق

لقطة شاشة، تفاعل، تأكيد

022 استدعاء

ملء نموذج

العثور على الحقول → تعبئة الكل

032 استدعاء

إجراء من القائمة

العثور على الاختصار → الضغط على المفتاح

041 استدعاء

أتمتة السكريبت

سكريبت AppleScript/PowerShell معقد

052 استدعاء

إدارة التطبيقات

عرض القائمة → التفعيل

حدود الأداة

قد تستخدم المهارة 50 أدوات موثقة.

يتم إعلان هذه القائمة المسموح بها من قبل المهارة. تحافظ على تركيز الوكيل على الإجراءات اللازمة لهذه المهمة بينما يحتفظ See compatibility notes بالمسؤولية عن المصادقة، التحقق، والنظام المتصل.

screenshot

zoom

doctor

policy_status

agent_pointer

openai_computer

left_click

right_click

middle_click

double_click

triple_click

mouse_move

left_click_drag

left_mouse_down

left_mouse_up

scroll

cursor_position

type

key

hold_key

read_clipboard

write_clipboard

open_application

list_running_apps

hide_app

unhide_app

get_window

get_cursor_window

list_windows

get_frontmost_app

activate_app

activate_window

get_display_size

list_displays

wait

get_ui_tree

get_focused_element

find_element

click_element

set_value

press_button

list_menu_bar

select_menu_item

fill_form

run_script

get_app_dictionary

get_tool_guide

get_app_capabilities

list_spaces

get_active_space

قواعد العمل

ما الذي يجب على الوكيل القيام به.

التقط لقطة شاشة دائماً قبل النقر (تحقق من ظهور الهدف)
فضل استخدام click_element/press_button على النقر بالإحداثيات (أكثر موثوقية)
استخدم get_tool_guide قبل المهام المعقدة متعددة الخطوات
استخدم list_menu_bar للعثور على اختصارات لوحة المفاتيح (أسرع من التنقل في القوائم)
تحقق من الإجراءات بلقطة شاشة متابعة

حدود التشغيل

ما الذي يجب على الوكيل تجنبه.

لا تنقر دون رؤية الشاشة أولاً
لا تستخدم النقر بالإحداثيات إذا كانت عناصر الوصول متاحة
لا تكتب في الحقل الخطأ (تحقق من get_focused_element أولاً)
لا تشغل سكريبتات مدمرة بدون تأكيد المستخدم
لا تتفاعل مع التطبيقات خارج قائمة السماح (تحقق من policy_status)

التثبيت والاتصال

أضف المهارة بجانب القدرة التي تتوقعها.

ثبت المستودع حيث يمكن لمحمّل مهارات ADK-Rust اكتشافه، اتصل بـ See compatibility notes، وتأكد من توفر الأدوات المعلنة قبل طلب الوكيل استخدام سير العمل.

ثبت المهارة

git clone https://github.com/zavora-ai/skill-computer-use.git \
  ~/.skills/skills/computer-use

شكل تحميل ADK-Rust

let skills = SkillLoader::from_dir("~/.skills/skills").await?;
let skill = skills.load("computer-use").await?;

let agent = LlmAgentBuilder::new("agent")
    .instruction(skill.instructions())
    .tools(skill.allowed_tools(toolset)?)
    .build()?;

بيان التوافق الخاص بالمستودع: يتطلب خادم computer-use-mcp. macOS (AppleScript/JXA) وWindows (PowerShell). مطلوب أذونات الوصول.

الوثائق الرسمية

اقرأ حزمة المهارة الكاملة.

يبقى المستودع هو المرجع الدقيق لتعليماته، أمثلته، سكريبتات المساعدة، الأصول، متطلبات MCP، الترخيص، والتحديثات اللاحقة.

نظرة عامة ↗README.md تعليمات المهارة ↗SKILL.md سير عمل عبر Mcp ↗references/cross-mcp-workflows.md أمثلة ↗references/examples.md تسلسلات الأدوات ↗references/tool-sequences.md فحص الوصول ↗scripts/accessibility_check.py تقرير المهمة ↗assets/task-report.md

استمر في الاستكشاف