أمثلة في الوقت الفعلي

أربعة أمثلة قابلة للتشغيل في دليل examples/، مرتبة تقريبًا حسب مدى تعليمها. تستخدم جميعها server-side bridge؛ وتعمل جميعها على إما OpenAI أو Gemini. عيّن المفتاح ذي الصلة أولاً:

export OPENAI_API_KEY=sk-…        # for OpenAI sessions
export GEMINI_API_KEY=…           # for Gemini sessions (or GOOGLE_API_KEY)

realtime_tools

بدون واجهة رسومية. أوضح قراءة أولى. مسبار وحدة تحكم (بدون متصفح) يمارس tool dispatch على IntegratedRealtimeRunner: أدوار أداة واحدة، وأدوات متوازية، وآلة حاسبة، مع تجميع الجلسة/الذاكرة/النسخ المدمج. أصغر صورة شاملة لكيفية تدفق دور الأداة.

cargo run --manifest-path examples/realtime_tools/Cargo.toml

ابدأ هنا لفهم الـ runner؛ ثم انتقل إلى أمثلة الويب للصوت.


realtime_voiceالوعي التام مع ميا

المنتج الرائد. تطبيق صوتي ويب كامل: المتصفح يلتقط ميكروفون PCM16 ويشغل الـ agent بسلاسة مع خاصية المقاطعة؛ خادم Rust يمتلك الـ session. ميزته البارزة هي memory: GraphMemoryService مدعوم بملف هو الـ long-term memory الخاص بـ Mia — يتم حقن بطاقة ملفها الشخصي عند بدء الـ session، ويتم تسجيل كل دور في الـ graph، وتقوم بتنظيم حقائق دائمة في منتصف المحادثة عبر أدوات remember/relate الموصولة. لوحة "User Memory Insights" حية تقرأ وتكتب نفس الـ graph عبر /api/memory. كما تعرض أداة get_weather من جانب الخادم.

فاتحداكن
الوعي مع ميا — المظهر الفاتحالوعي مع ميا — المظهر الداكن
cargo run --manifest-path examples/realtime_voice/Cargo.toml
# → http://localhost:3033

اقرأه من أجل: التقاط/تشغيل Web Audio، ذاكرة الرسم البياني المعرفي، التنظيم الذاتي للوكيل.


customer_serviceAria

العرض التوضيحي متعدد الوسائط. إصدار معاد تصميمه من Google's "Customer Service Agent" Live API demo — مستقل عن الواجهة الخلفية، مكتوب بلغة Rust، مع واجهة مستخدم بثلاثة أعمدة ذات سمات (نظام/فاتح/داكن). يجمع كل شيء:

  • متعدد الوسائط — يبث mic PCM و إطارات JPEG الكاميرا؛ Aria ترى ما تعرضه لها (send_video_frame).
  • الأدواتprocess_refund و connect_to_human تعملان على جانب الخادم؛ يتم نطق النتائج.
  • حوار عاطفي — متعاطف على كلتا الواجهتين الخلفيتين؛ CS_AFFECTIVE=1 يحول Gemini إلى native-audio model لمطابقة tone-matching الحقيقية.
فاتحداكن
وكيل خدمة العملاء — سمة فاتحةوكيل خدمة العملاء — سمة داكنة
cargo run --manifest-path examples/customer_service/Cargo.toml
# → http://localhost:3066

# headless smoke test (verifies the refund tool runs):
cargo run --manifest-path examples/customer_service/Cargo.toml -- probe openai
cargo run --manifest-path examples/customer_service/Cargo.toml -- probe gemini

# enable Gemini native affective dialogue:
CS_AFFECTIVE=1 cargo run --manifest-path examples/customer_service/Cargo.toml

اقرأها من أجل: إدخال الفيديو، دمج الوسائط المتعددة + الأدوات + التأثير في وكيل واحد.


live_translation

مثال النموذج المخصص. مترجم فوري من الكلام إلى الكلام: تحدث الإنجليزية، واسمع الإسبانية بعد بضع ثوانٍ. نفس الجسر، ولكن موجهًا إلى نماذج الترجمة الخاصة بالمزودين — OpenAI gpt-realtime-translate و Gemini gemini-3.5-live-translate-preview — والتي تتحدث بروتوكولًا مختلفًا عن النماذج الحوارية. اختر لغة مستهدفة في واجهة المستخدم؛ يتفاوض الخادم على معدلات الصوت لكل مزود قبل تدفق الصوت.

فاتحداكن
الترجمة المباشرة — المظهر الفاتحالترجمة المباشرة — المظهر الداكن
cargo run --manifest-path examples/live_translation/Cargo.toml
# → http://localhost:3055
cargo run --manifest-path examples/live_translation/Cargo.toml -- probe openai

اقرأه من أجل: استخدام نماذج الترجمة المخصصة وجسر مركز ومحدود.


مسار مقترح

  1. realtime_tools — شاهد الـ runner ودورة الـ tool، بدون ضوضاء صوتية.
  2. realtime_voice — أضف صوتًا حقيقيًا وذاكرة رسم بياني معرفي.
  3. customer_service — أضف الرؤية والتأثير؛ الـ Agent متعدد الوسائط بالكامل.
  4. live_translation — نموذج وبروتوكول متخصص.

كل README.md في دليل الأمثلة يحتوي على جدول الـ env-var الكامل، وتجاوزات النموذج (OPENAI_REALTIME_MODEL / GEMINI_REALTIME_MODEL)، وملاحظات البنية.

← العودة إلى نظرة عامة في الوقت الفعلي