Résultats des benchmarks

Benchmarks de performance publiés comparant ADK-Rust à d’autres frameworks d’agents. Toutes les mesures utilisent de véritables appels LLM avec une configuration déterministe pour garantir la reproductibilité.

Résumé

ADK-Rust offre un démarrage à froid environ 4,6 fois plus rapide que les deux frameworks Python, ainsi qu’une surcharge de boucle inférieure à la milliseconde. Le SDK Python de Gemini présente une surcharge de boucle légèrement inférieure grâce à une abstraction minimale, mais la surcharge de ADK-Rust est négligeable par rapport aux temps de réponse habituels de LLM (500 ms à 3 s).

Résultats des charges de travail

simple_tool_call

Un message utilisateur → un appel d’outil → une réponse finale. Mesure le temps aller-retour minimal.

multi_step_reasoning

Conversation à plusieurs tours nécessitant 3 à 5 appels d’outils séquentiels, avec un raisonnement entre chaque étape.

parallel_tool_invocation

Un message utilisateur unique déclenchant 3 appels d’outils parallèles exécutés simultanément.

Comment reproduire

# Run all benchmarks
cargo adk bench

# Run a specific workload
cargo adk bench --workload simple_tool_call

# Save results as a baseline
cargo adk bench --save-baseline v1.0.0

# Compare against baseline
cargo adk bench --check-regression v1.0.0 --tolerance 10

# Output as JSON for CI
cargo adk bench --output json --output-file results.json

Prérequis :

• Variable d’environnement GOOGLE_API_KEY définie
• Accès réseau à Gemini API
• Pour la comparaison entre frameworks : Python 3.11+ avec google-genai et langgraph installés

Méthodologie

Environnement de test

• Modèle : Gemini 3.5 Flash-Lite (gemini-3.5-flash-lite)
• Température : 0 (déterministe)
• Graine aléatoire fixe pour assurer la reproductibilité
• 10 itérations de mesure après 2 exécutions de préchauffage
• Réseau : même machine et même réseau pour tous les frameworks

Isolation de la surcharge

La surcharge du framework est isolée en soustrayant la latence mesurée de LLM du temps d’exécution total :

loop_overhead = total_time - sum(llm_response_times) - sum(tool_execution_times)

Cela isole la contribution du framework : sérialisation, désérialisation, assemblage du contexte, distribution des événements et gestion de l’état.

Signification des métriques

Configuration déterministe

Tous les frameworks utilisent des éléments identiques :

• Définitions des outils (mêmes noms, schémas, implémentations simulées)
• Prompts système et messages utilisateur
• Paramètres du modèle (temperature=0, aucune variation d’échantillonnage)
• Implémentations des outils (retournent des réponses fixes, sans E/S)

Limitations

• Les résultats dépendent des conditions réseau et de la charge de API Gemini
• Les frameworks Python sont mesurés avec CPython 3.11 (et non PyPy)
• Le démarrage à froid inclut le démarrage de l’interpréteur Python pour les frameworks Python
• La surcharge de boucle pour LangGraph inclut le parcours du graphe et la sérialisation de l’état

Suivi des régressions

Utilisez les benchmarks dans CI pour détecter les régressions de performances :

# In CI pipeline after merge to main
cargo adk bench --check-regression v1.0.0 --tolerance 10

# Exit code 1 if any metric regressed >10%

Les références sont stockées dans .adk-bench/baselines/ et peuvent être validées dans le dépôt.

Pour aller plus loin

• Guide des outils de benchmarking — Référence et configuration de CLI
• ROADMAP.md — Objectifs de performance pour les prochaines versions
• adk-bench/README.md — Documentation complète du framework de benchmarking

---

Précédent : ← Évaluation | Suivant : Contrôle d’accès →