Fournisseurs temps réel

ADK-Rust prend en charge deux backends temps réel derrière la même interface RealtimeModel, afin qu’une application puisse proposer les deux et basculer de l’un à l’autre par session. Cette page présente les modèles, les voix, les endpoints, l’authentification et la manière de faire un choix.

OpenAI temps réel (GA)

use adk_realtime::openai::OpenAIRealtimeModel;
use adk_realtime::model::BoxedModel;
use std::sync::Arc;

let model: BoxedModel = Arc::new(OpenAIRealtimeModel::new(
    std::env::var("OPENAI_API_KEY")?,
    "gpt-realtime-2.1",
));

• Transport : WebSocket (fonctionnalité openai) ou WebRTC (openai-webrtc, nécessite cmake).
• Audio : PCM16 à 24 kHz en entrée et en sortie.
• Voix : marin (une voix GA naturelle), alloy et autres ; à définir avec RealtimeConfig::with_voice("marin").
• Authentification : OPENAI_API_KEY. La clé se trouve sur votre serveur (jamais dans le navigateur).

Gemini Live

use adk_realtime::gemini::{GeminiLiveBackend, GeminiRealtimeModel};

let model: BoxedModel = Arc::new(GeminiRealtimeModel::new(
    GeminiLiveBackend::studio(std::env::var("GEMINI_API_KEY")?),
    "models/gemini-3.1-flash-live-preview",
));

• Transport : WebSocket (fonctionnalité gemini, AI Studio) ou Vertex AI Live (vertex-live, OAuth2 / ADC — voir Agents temps réel).
• Audio : PCM16 à 16 kHz en entrée, PCM16 à 24 kHz en sortie.
• Voix : Kore et autres ; with_voice("Kore").
• Authentification : GEMINI_API_KEY (ou GOOGLE_API_KEY).

Les noms de modèles diffèrent selon le point de terminaison. AI Studio (clé API) utilise des noms tels que models/gemini-3.1-flash-live-preview ; Vertex/Agent Platform utilise des noms différents. La crate GeminiLiveBackend::studio(...) cible AI Studio via le point de terminaison v1alpha (qui est également celui requis par le dialogue affectif).

Choisir un modèle

• Voix générale + outils → gpt-realtime-2.1 ou gemini-3.1-flash-live-preview. Tous deux appellent les outils de manière fiable. Gemini convient mieux à la vidéo continue.
• Voix la plus naturelle / sensible aux émotions → Gemini native-audio (gemini-live-2.5-flash-native-audio) avec le dialogue affectif — au prix d’une moindre fiabilité des appels d’outils.
• Raisonnement intensif → gpt-realtime-2.1.
• Traduction → les modèles de traduction dédiés (avec leur propre protocole).

Sélectionner un fournisseur par session

Les applications lisent généralement le fournisseur depuis une requête et construisent le modèle correspondant. Les fréquences audio diffèrent, exposez-les donc également :

#[derive(Clone, Copy)]
enum Provider { OpenAI, Gemini }

impl Provider {
    fn audio_rates(self) -> (u32, u32) {   // (input, output)
        match self {
            Provider::OpenAI => (24_000, 24_000),
            Provider::Gemini => (16_000, 24_000),
        }
    }
}

fn build_model(p: Provider) -> anyhow::Result<(BoxedModel, &'static str)> {
    Ok(match p {
        Provider::OpenAI => (
            Arc::new(OpenAIRealtimeModel::new(std::env::var("OPENAI_API_KEY")?, "gpt-realtime-2.1")),
            "marin",
        ),
        Provider::Gemini => (
            Arc::new(GeminiRealtimeModel::new(
                GeminiLiveBackend::studio(std::env::var("GEMINI_API_KEY")?),
                "models/gemini-3.1-flash-live-preview",
            )),
            "Kore",
        ),
    })
}

Les exemples permettent de remplacer toutes ces valeurs avec des variables d’environnement (OPENAI_REALTIME_MODEL, GEMINI_REALTIME_MODEL), afin de pouvoir imposer un modèle sans recompiler.

Matrice des fonctionnalités

Suivant : Outils →

Diagnostics et confidentialité des données utiles

Les trames en temps réel transportent des transcriptions, des arguments d’outils, des résultats d’outils et des identifiants. Lorsqu’un événement reconnu ne peut pas être désérialisé — en raison d’une évolution du schéma du fournisseur — l’avertissement fournit un résumé n’exposant pas les champs sensibles et retient la trame :

Remarque : le condensé regroupe les lignes de journal au sein d’une exécution. Il ne s’agit pas d’un condensé cryptographique et il n’est pas stable d’un processus à l’autre.

Pour diagnostiquer la dérive avec la trame en main, compilez adk-realtime avec la fonctionnalité record-payloads, qui enregistre les 300 premiers octets :

[dependencies]
adk-realtime = { version = "2.1.0", features = ["openai", "record-payloads"] }

La fonctionnalité est désactivée par défaut et ce choix est délibéré pour chaque compilation, car c’est précisément lors d’une dérive de schéma que les opérateurs élargissent la collecte et la conservation des journaux.