Ollama (النماذج المحلية)

شغل LLMs محليًا بخصوصية تامة - لا مفاتيح API، لا إنترنت، لا تكاليف.

نظرة عامة

┌─────────────────────────────────────────────────────────────────────┐
│                         Ollama Local Setup                          │
├─────────────────────────────────────────────────────────────────────┤
│                                                                     │
│   Your Machine                                                      │
│   ┌─────────────────────────────────────────────────────────────┐  │
│   │                                                             │  │
│   │   ┌──────────────┐      ┌──────────────┐                   │  │
│   │   │  ADK-Rust    │ ───▶ │   Ollama     │                   │  │
│   │   │  Agent       │      │   Server     │                   │  │
│   │   └──────────────┘      └──────┬───────┘                   │  │
│   │                                │                            │  │
│   │                         ┌──────▼───────┐                   │  │
│   │                         │  Local LLM   │                   │  │
│   │                         │  (llama3.2)  │                   │  │
│   │                         └──────────────┘                   │  │
│   │                                                             │  │
│   └─────────────────────────────────────────────────────────────┘  │
│                                                                     │
│   🔒 100% Private - Data never leaves your machine                 │
│                                                                     │
└─────────────────────────────────────────────────────────────────────┘

لماذا Ollama؟

الخطوة 1: تثبيت Ollama

macOS

brew install ollama

Linux

curl -fsSL https://ollama.com/install.sh | sh

Windows

حمل من ollama.com

---

الخطوة 2: تشغيل الخادم

ollama serve

يجب أن ترى:

Couldn't find '/Users/you/.ollama/id_ed25519'. Generating new private key.
Your new public key is: ssh-ed25519 AAAA...
time=2024-01-05T12:00:00.000Z level=INFO source=server.go msg="Listening on 127.0.0.1:11434"

---

الخطوة 3: سحب نموذج

في طرفية جديدة:

# Recommended starter model (3B parameters, fast)
ollama pull llama3.2:3b

# Other popular models
ollama pull qwen3.6:35b-a3b   # Latest Qwen — 73.4% SWE-bench, MoE 35B/3B active
ollama pull qwen3.5            # Strong multilingual and coding
ollama pull qwen3-coder:30b    # Code-focused with tool calling
ollama pull mistral:7b        # Good for code
ollama pull deepseek-r1:14b   # Reasoning model
ollama pull devstral:24b      # Optimized for coding
ollama pull gemma3:9b         # Google's efficient model
ollama pull codellama:13b     # Code generation

---

الخطوة 4: أضف إلى مشروعك

[dependencies]
adk-model = { version = "2.0.0", features = ["ollama"] }

---

الخطوة 5: استخدم في الكود

use adk_model::ollama::{OllamaModel, OllamaConfig};
use adk_agent::LlmAgentBuilder;
use std::sync::Arc;

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    // No API key needed!
    let model = OllamaModel::new(OllamaConfig::new("llama3.2"))?;

    let agent = LlmAgentBuilder::new("local_assistant")
        .instruction("You are a helpful assistant running locally.")
        .model(Arc::new(model))
        .build()?;

    // Use the agent...
    Ok(())
}

---

مثال عملي كامل

use adk_rust::prelude::*;
use adk_rust::Launcher;
use std::sync::Arc;

#[tokio::main]
async fn main() -> anyhow::Result<()> {
    dotenvy::dotenv().ok();
    
    // No API key needed!
    let model = OllamaModel::new(OllamaConfig::new("llama3.2"))?;

    let agent = LlmAgentBuilder::new("ollama_assistant")
        .description("Ollama-powered local assistant")
        .instruction("You are a helpful assistant running locally via Ollama. Be concise.")
        .model(Arc::new(model))
        .build()?;

    // Run interactive session
    Launcher::new(Arc::new(agent)).run().await?;
    
    Ok(())
}

Cargo.toml

[dependencies]
adk-rust = { version = "2.0.0", features = ["ollama"] }
tokio = { version = "1", features = ["full"] }
dotenvy = "0.15"
anyhow = "1.0"

---

خيارات التكوين

use adk_model::ollama::{OllamaModel, OllamaConfig};

let config = OllamaConfig::new("llama3.2")
    .with_base_url("http://localhost:11434")  // Custom server URL
    .with_temperature(0.7)                     // Creativity (0.0-1.0)
    .with_max_tokens(2048);                    // Max response length

let model = OllamaModel::new(config)?;

---

النماذج الموصى بها

اختيار نموذج

• ذاكرة وصول عشوائي (RAM) محدودة (8 جيجابايت)؟ → llama3.2:3b
• أفضل برمجة وكيلية؟ → qwen3.6:35b-a3b (24 جيجابايت، MoE — 3B نشط فقط)
• هل تحتاج إلى استدعاء الأدوات؟ → qwen3.5 أو qwen3-coder:30b
• كتابة التعليمات البرمجية؟ → devstral:24b أو qwen3-coder:30b
• هل تحتاج إلى استدلال؟ → deepseek-r1:14b أو deepseek-r1:32b
• أفضل جودة؟ → llama3.3:70b (يتطلب 48 جيجابايت+ RAM)

---

استدعاء الأدوات مع Ollama

يدعم Ollama استدعاء الوظائف مع النماذج المتوافقة:

use adk_model::ollama::{OllamaModel, OllamaConfig};
use adk_agent::LlmAgentBuilder;
use adk_tool::FunctionTool;
use std::sync::Arc;

// qwen2.5 has excellent tool calling support
let model = OllamaModel::new(OllamaConfig::new("qwen2.5:7b"))?;

let weather_tool = Arc::new(FunctionTool::new(
    "get_weather",
    "Get weather for a location",
    |_ctx, args| async move {
        let location = args.get("location").and_then(|v| v.as_str()).unwrap_or("unknown");
        Ok(serde_json::json!({
            "location": location,
            "temperature": "72°F",
            "condition": "Sunny"
        }))
    },
));

let agent = LlmAgentBuilder::new("weather_assistant")
    .instruction("Help users check the weather.")
    .model(Arc::new(model))
    .tool(weather_tool)
    .build()?;

ملاحظة: يستخدم استدعاء الأدوات وضع عدم البث (non-streaming) للموثوقية مع النماذج المحلية.

---

مثال على الإخراج

👤 User: Hello! What can you do?

🤖 Ollama (llama3.2): Hello! I'm a local AI assistant running on your 
machine. I can help with:
- Answering questions
- Writing and editing text
- Explaining concepts
- Basic coding help

All completely private - nothing leaves your computer!

---

استكشاف الأخطاء وإصلاحها

"تم رفض الاتصال"

# Make sure Ollama is running
ollama serve

"النموذج غير موجود"

# Pull the model first
ollama pull llama3.2

استجابات بطيئة

• استخدم نموذجًا أصغر (llama3.2 بدلاً من llama3.1:70b)
• أغلق التطبيقات الأخرى لتحرير ذاكرة الوصول العشوائي (RAM)
• فكر في تسريع GPU إذا كان متاحًا

التحقق من النماذج المتاحة

ollama list

---

تشغيل الأمثلة

cargo check -p adk-rust --no-default-features --features ollama

قم بتشغيل ollama serve واسحب النموذج قبل بدء وكيل يستخدم هذا المزود.

---

ذات صلة

• مزودو النماذج - مزودو LLM المستندون إلى السحابة
• النماذج المحلية (mistral.rs) - استدلال Rust الأصلي

---

السابق: ← مزودو النماذج | التالي: النماذج المحلية (mistral.rs) →