Telemetrie

ADK-Rust bietet produktionsreife Beobachtbarkeit über die adk-telemetry crate, die strukturiertes Logging und verteiltes Tracing unter Verwendung des tracing Ökosystems und OpenTelemetry integriert.

Übersicht

Das Telemetrie-System ermöglicht:

• Strukturiertes Logging: Umfangreiche, abfragbare Logs mit kontextbezogenen Informationen
• Verteiltes Tracing: Verfolgen von Anfragen über Agenten-Hierarchien und Servicegrenzen hinweg
• OpenTelemetry-Integration: Export von Traces an Beobachtbarkeits-Backends (Jaeger, Datadog, Honeycomb usw.)
• Automatische Kontext-Propagation: Session-, Benutzer- und Invocation-IDs fließen durch alle Operationen
• Vorkonfigurierte Spans: Helferfunktionen für gängige ADK-Operationen

Schnellstart

Grundlegendes Konsolen-Logging

Für Entwicklung und einfache Bereitstellungen, initialisieren Sie das Konsolen-Logging:

use adk_telemetry::init_telemetry;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // Initialize telemetry with your service name
    init_telemetry("my-agent-service")?;
    
    // Your agent code here
    
    Ok(())
}

Dies konfiguriert strukturiertes Logging nach stdout mit sinnvollen Standardeinstellungen.

OpenTelemetry Export

Für Produktions-Deployments mit verteiltem Tracing:

use adk_telemetry::init_with_otlp;

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    // Initialize with OTLP exporter
    init_with_otlp("my-agent-service", "http://localhost:4317")?;
    
    // Your agent code here
    
    // Flush traces before exit
    adk_telemetry::shutdown_telemetry();
    Ok(())
}

Dies exportiert Traces und Metriken an einen OpenTelemetry Collector-Endpunkt.

Komponierbare Schicht (Fortgeschritten)

Wenn Sie bereits einen tracing Subscriber konfiguriert haben, verwenden Sie build_otlp_layer, um eine komponierbare Schicht zu erhalten, anstatt einen globalen Subscriber zu initialisieren:

use adk_telemetry::build_otlp_layer;
use tracing_subscriber::{layer::SubscriberExt, util::SubscriberInitExt};

let otlp_layer = build_otlp_layer("my-agent", "http://localhost:4317")?;

tracing_subscriber::registry()
    .with(otlp_layer)
    .with(tracing_subscriber::fmt::layer())
    .init();

Log-Level

Steuern Sie die Logging-Ausführlichkeit mit der Umgebungsvariable RUST_LOG:

Protokollstufen festlegen

# Set global log level
export RUST_LOG=info

# Set per-module log levels
export RUST_LOG=adk_agent=debug,adk_model=info

# Combine global and module-specific levels
export RUST_LOG=warn,adk_agent=debug

Das Telemetriesystem verwendet standardmäßig die info Stufe, wenn RUST_LOG nicht gesetzt ist.

Logging-Makros

Verwenden Sie die Standard-tracing Makros für die Protokollierung:

use adk_telemetry::{trace, debug, info, warn, error};

// Informational logging
info!("Agent started successfully");

// Structured logging with fields
info!(
    agent.name = "my_agent",
    session.id = "sess-123",
    "Processing user request"
);

// Debug logging
debug!(user_input = ?input, "Received input");

// Warning and error logging
warn!("Rate limit approaching");
error!(error = ?err, "Failed to call model");

Strukturierte Felder

Fügen Sie kontextbezogene Felder zu Protokollmeldungen hinzu, um die Filterung und Analyse zu verbessern:

use adk_telemetry::info;

info!(
    agent.name = "customer_support",
    user.id = "user-456",
    session.id = "sess-789",
    invocation.id = "inv-abc",
    "Agent execution started"
);

Diese Felder werden in Ihrem Observability-Backend abfragbar.

Instrumentierung

Automatische Instrumentierung

Verwenden Sie das #[instrument] Attribut, um automatisch Spans für Funktionen zu erstellen:

use adk_telemetry::{instrument, info};

#[instrument]
async fn process_request(user_id: &str, message: &str) {
    info!("Processing request");
    // Function logic here
}

// Creates a span named "process_request" with user_id and message as fields

Sensible Parameter überspringen

Sensible Daten von Traces ausschließen:

use adk_telemetry::instrument;

#[instrument(skip(api_key))]
async fn call_external_api(api_key: &str, query: &str) {
    // api_key won't appear in traces
}

Benutzerdefinierte Span-Namen

use adk_telemetry::instrument;

#[instrument(name = "external_api_call")]
async fn fetch_data(url: &str) {
    // Span will be named "external_api_call" instead of "fetch_data"
}

Vorkonfigurierte Spans

ADK-Telemetry bietet Hilfsfunktionen für gängige Operationen:

Agent Ausführungs-Span

use adk_telemetry::agent_run_span;

let span = agent_run_span("my_agent", "inv-123");
let _enter = span.enter();

// Agent execution code here
// All logs within this scope inherit the span context

Modellaufruf-Span

use adk_telemetry::model_call_span;

let span = model_call_span("gemini-2.5-flash");
let _enter = span.enter();

// Model API call here

Tool Ausführungs-Span

use adk_telemetry::tool_execute_span;

let span = tool_execute_span("weather_tool");
let _enter = span.enter();

// Tool execution code here

Callback Span

use adk_telemetry::callback_span;

let span = callback_span("before_model");
let _enter = span.enter();

// Callback logic here

Kontextattribute hinzufügen

Fügen Sie Benutzer- und Sitzungskontext zum aktuellen Span hinzu:

use adk_telemetry::add_context_attributes;

add_context_attributes("user-456", "sess-789");

LLM Token-Nutzungsverfolgung

Verfolgen Sie den Token-Verbrauch über alle LLM-Anbieter hinweg mit OpenTelemetry GenAI semantischen Konventionen. Der llm_generate_span erstellt einen Span mit vordeklarierten gen_ai.usage.* Feldern, und record_llm_usage füllt diese nach Eintreffen der Antwort auf:

use adk_telemetry::{llm_generate_span, record_llm_usage, LlmUsage};

let span = llm_generate_span("openai", "gpt-5-mini", true);
let _enter = span.enter();

// After receiving the LLM response with usage metadata:
record_llm_usage(&LlmUsage {
    input_tokens: 100,
    output_tokens: 50,
    total_tokens: 150,
    cache_read_tokens: Some(80),
    ..Default::default()
});

Alle ADK-Modell-Anbieter (Gemini, OpenAI, Anthropic, Ollama, Bedrock, DeepSeek, Groq, Azure AI und alle OpenAI-kompatiblen Anbieter) zeichnen den Token-Verbrauch bei jedem generate_content Aufruf automatisch auf. Es ist keine manuelle Instrumentierung erforderlich — die Nachverfolgung ist in der Anbieter-Schicht integriert.

Aufgezeichnete Span-Felder folgen OpenTelemetry GenAI Konventionen:

Optionale Felder werden nur erfasst, wenn der Anbieter sie meldet (nicht-None).

Manuelle Span-Erstellung

Für die benutzerdefinierte Instrumentierung erstellen Sie Spans manuell:

use adk_telemetry::{info, Span};

let span = tracing::info_span!(
    "custom_operation",
    operation.type = "data_processing",
    operation.id = "op-123"
);

let _enter = span.enter();
info!("Performing custom operation");
// Operation code here

Span-Attribute

Attribute dynamisch hinzufügen:

use adk_telemetry::Span;

let span = Span::current();
span.record("result.count", 42);
span.record("result.status", "success");

OpenTelemetry-Konfiguration

OTLP-Endpunkt

Der OTLP-Exporter sendet Traces an einen Collector-Endpunkt:

use adk_telemetry::init_with_otlp;

// Local Jaeger (default OTLP port)
init_with_otlp("my-service", "http://localhost:4317")?;

// Cloud provider endpoint
init_with_otlp("my-service", "https://otlp.example.com:4317")?;

Einen lokalen Collector ausführen

Für die Entwicklung führen Sie Jaeger mit OTLP-Unterstützung aus:

docker run -d --name jaeger \
  -p 4317:4317 \
  -p 16686:16686 \
  jaegertracing/all-in-one:latest

# View traces at http://localhost:16686

Visualisierung von Traces

Nach der Konfiguration erscheinen Traces in Ihrem Observability-Backend und zeigen:

• Agent-Ausführungshierarchie
• Latenzen von Modellaufrufen
• Timing der Tool-Ausführung
• Fehlerweitergabe
• Kontextfluss (Benutzer-ID, Sitzungs-ID usw.)

Integration mit ADK

ADK-Rust Komponenten geben automatisch Telemetriedaten aus, wenn das Telemetriesystem initialisiert wird:

use adk_rust::prelude::*;
use adk_telemetry::init_telemetry;
use std::sync::Arc;

#[tokio::main]
async fn main() -> std::result::Result<(), Box<dyn std::error::Error>> {
    // Initialize telemetry first
    init_telemetry("my-agent-app")?;
    
    let api_key = std::env::var("GOOGLE_API_KEY")?;
    let model = Arc::new(GeminiModel::new(&api_key, "gemini-2.5-flash")?);
    
    let agent = LlmAgentBuilder::new("support_agent")
        .model(model)
        .instruction("You are a helpful support agent.")
        .build()?;
    
    // Use Launcher for simple execution
    Launcher::new(Arc::new(agent)).run().await?;
    
    Ok(())
}

Die Operationen von Agent, Modell und Tool geben automatisch strukturierte Logs und Traces aus.

Telemetrie-Demo-Beispiel

Telemetrie-Funktionsauswahl lokal validieren:

cargo check -p adk-telemetry --no-default-features
cargo check -p adk-telemetry --no-default-features --features otlp

Öffnen Sie den eingebetteten ADK-Rust Playground für vollständige Telemetrie-Beispiele mit echten Modellaufrufen.

Benutzerdefinierte Telemetrie in Tools

Fügen Sie benutzerdefinierten Tools Telemetriedaten hinzu:

use adk_rust::prelude::*;
use adk_telemetry::{info, instrument, tool_execute_span};
use serde_json::{json, Value};

#[instrument(skip(ctx))]
async fn weather_tool_impl(
    ctx: Arc<dyn ToolContext>,
    args: Value,
) -> Result<Value> {
    let span = tool_execute_span("weather_tool");
    let _enter = span.enter();
    
    let location = args["location"].as_str().unwrap_or("unknown");
    info!(location = location, "Fetching weather data");
    
    // Tool logic here
    let result = json!({
        "temperature": 72,
        "condition": "sunny"
    });
    
    info!(location = location, "Weather data retrieved");
    Ok(result)
}

let weather_tool = FunctionTool::new(
    "get_weather",
    "Get current weather for a location",
    json!({
        "type": "object",
        "properties": {
            "location": {"type": "string"}
        },
        "required": ["location"]
    }),
    weather_tool_impl,
);

Benutzerdefinierte Telemetrie in Callbacks

Fügen Sie Callbacks Beobachtbarkeit hinzu:

use adk_rust::prelude::*;
use adk_telemetry::{info, callback_span};
use std::sync::Arc;

let agent = LlmAgentBuilder::new("observed_agent")
    .model(model)
    .before_callback(Box::new(|ctx| {
        Box::pin(async move {
            let span = callback_span("before_agent");
            let _enter = span.enter();
            
            info!(
                agent.name = ctx.agent_name(),
                user.id = ctx.user_id(),
                session.id = ctx.session_id(),
                "Agent execution starting"
            );
            
            Ok(None)
        })
    }))
    .after_callback(Box::new(|ctx| {
        Box::pin(async move {
            let span = callback_span("after_agent");
            let _enter = span.enter();
            
            info!(
                agent.name = ctx.agent_name(),
                "Agent execution completed"
            );
            
            Ok(None)
        })
    }))
    .build()?;

Leistungsüberlegungen

Sampling

Berücksichtigen Sie für Hochdurchsatzsysteme das Trace-Sampling:

// Note: Sampling configuration depends on your OpenTelemetry setup
// Configure sampling in your OTLP collector or backend

Async-Spans

Verwenden Sie immer #[instrument] bei asynchronen Funktionen, um den korrekten Span-Kontext sicherzustellen:

use adk_telemetry::instrument;

// ✅ Correct - span context preserved across await points
#[instrument]
async fn async_operation() {
    tokio::time::sleep(Duration::from_secs(1)).await;
}

// ❌ Incorrect - manual span may lose context
async fn manual_span_operation() {
    let span = tracing::info_span!("operation");
    let _enter = span.enter();
    tokio::time::sleep(Duration::from_secs(1)).await;
    // Context may be lost after await
}

Log-Level in der Produktion

Verwenden Sie in der Produktion den Level info oder warn, um den Overhead zu reduzieren:

export RUST_LOG=warn,my_app=info

Fehlerbehebung

Keine Logs werden angezeigt

1. Überprüfen Sie, ob die Umgebungsvariable RUST_LOG gesetzt ist
2. Stellen Sie sicher, dass init_telemetry() vor jeglicher Protokollierung aufgerufen wird
3. Verifizieren Sie, dass die Telemetrie nur einmal initialisiert wird (verwendet intern Once)

Traces nicht exportiert

1. Überprüfen Sie, ob der OTLP-Endpunkt erreichbar ist
2. Überprüfen Sie, ob der Collector läuft und Verbindungen akzeptiert
3. Rufen Sie shutdown_telemetry() vor dem Beenden der Anwendung auf, um ausstehende Spans zu leeren
4. Überprüfen Sie auf Netzwerk-/Firewall-Probleme

Fehlender Kontext in Spans

1. Verwenden Sie #[instrument] bei async-Funktionen
2. Stellen Sie sicher, dass Spans mit let _enter = span.enter() betreten werden
3. Halten Sie den _enter Guard für die Dauer des Vorgangs im Geltungsbereich

Bewährte Methoden

1. Früh initialisieren: init_telemetry() zu Beginn von main() aufrufen
2. Strukturierte Felder verwenden: Kontext mit Schlüssel-Wert-Paaren hinzufügen, nicht mit Zeichenketteninterpolation
3. Asynchrone Funktionen instrumentieren: Immer #[instrument] für asynchrone Funktionen verwenden
4. Beim Beenden leeren: shutdown_telemetry() vor dem Beenden der Anwendung aufrufen
5. Angemessene Protokollierungsstufen: info für wichtige Ereignisse, debug für Details verwenden
6. Sensible Daten vermeiden: Sensible Parameter mit #[instrument(skip(...))] überspringen
7. Konsistente Benennung: Konsistente Feldnamen verwenden (z.B. user.id, session.id)

Verwandt

• Callbacks - Telemetrie zu Callbacks hinzufügen
• Tools - Benutzerdefinierte Tools instrumentieren
• Deployment - Telemetrie-Einrichtung für die Produktion

---

Vorherige: ← Events | Nächste: Launcher →