Bulut tabanlı yapay zekâ servislerine her ay abonelik ücreti ödemekten ya da şirket içi hassas verilerinizi internete sızdırma korkusu yaşamaktan sıkıldınız mı? Açık kaynaklı yapay zekâ modellerinin (Llama, Mistral, Gemma, DeepSeek) hızla gelişmesiyle birlikte artık kendi bilgisayarımızda tamamen çevrimdışı, sansürsüz ve gizli bir yapay zekâ asistanı çalıştırmak bir fantezi olmaktan çıktı.
Daha önce yerel yapay zekâ vizyonunu ve NPU çiplerini incelemiştik. Şimdi işin doğrudan tüketiciyi ve mühendisleri ilgilendiren pratik tarafına iniyoruz: Kendi bilgisayarınızda bir dil modelini akıcı şekilde çalıştırmak için tam olarak nasıl bir donanıma ihtiyacınız var? VRAM hesabı nasıl yapılır?
Yerel yapay zekânın asıl yakıtı: Grafik kartının video belleği (VRAM) ve bellek bant genişliği.
1. Altın Kural: CPU Hızı Değil, VRAM Kapasitesi ve Bant Genişliği
Yeni başlayanların düştüğü en büyük hata, güçlü bir işlemcinin (CPU) dil modellerini uçuracağını sanmaktır. LLM'lerin çalışma matematiği milyarlarca ağırlık parametresinin her bir token üretiminde baştan sona okunmasını gerektirir.
Sistem RAM'i (DDR4/DDR5) genellikle 50–80 GB/s bant genişliği sunarken, modern bir ekran kartının (GPU) VRAM'i 500–1000 GB/s hızlara ulaşır. Model tamamen ekran kartının belleğine (VRAM) sığmadığında ve işlemciye taştığında (offloading), yazma hızı saniyede 30 kelimeden saniyede 1 kelimeye düşerek sistemi kullanılmaz kılar.
"Yerel yapay zekâda kural basittir: VRAM kraldır. Model VRAM'e sığıyorsa sohbet akar; sığmıyorsa sistem darboğaza boğulur."
2. Sihirli Çözüm: Kuantizasyon (Quantization) Nedir?
Örneğin 8 milyar parametreli bir model (8B), orijinal 16-bit (FP16) hassasiyetinde yaklaşık 16 GB VRAM ister. Ev kullanıcılarının çoğu bu bütçeye sahip değildir. İşte burada devreye Kuantizasyon girer.
Kuantizasyon, her bir ağırlığın matematiksel hassasiyetini 16-bit seviyesinden 8-bit, 4-bit (Q4) hatta 2-bit seviyesine sıkıştırma işlemidir. İnanılmaz olan şudur: Model boyutunu yarı yarıya küçültürken mantık ve anlama kabiliyetinden sadece %1-2 civarında feragat edersiniz.
Hangi Model İçin Kaç GB VRAM Gerekir? (Pratik Rehber)
| Model Boyutu | Format (Hassasiyet) | Minimum VRAM | Tavsiye Edilen GPU |
|---|---|---|---|
| 7B / 8B (Llama-3, Gemma) | Q4_K_M (4-bit) | 6 - 8 GB | RTX 3060 12GB / RTX 4060 |
| 14B (Qwen, DeepSeek) | Q4_K_M (4-bit) | 10 - 12 GB | RTX 3060 12GB / RX 6700 XT |
| 32B - 34B (İleri Düzey Kodlama) | Q4_K_M (4-bit) | 20 - 24 GB | RTX 3090 24GB / RTX 4090 |
| 70B (Endüstriyel Seviye) | Q4_K_M (4-bit) | 40 - 48 GB | 2x RTX 3090 / Apple M2/M3 Max (64GB+) |
3. Başlamak İçin En İyi Açık Kaynak Araçlar
Eski karmaşık kod kütüphaneleri geride kaldı. Bugün tek tıkla kendi yerel yapay zekânızı ayağa kaldırabileceğiniz iki harika yazılım var:
- Ollama: Terminal üzerinden tek bir
ollama run llama3komutuyla modeli indirip çalıştıran, arka planda C++ tabanlı llama.cpp motorunu kullanan endüstri standardı. - LM Studio: ChatGPT benzeri modern grafik arayüzü sunan, model aramayı ve VRAM taşmalarını görselleştiren yeni başlayanlar için en pratik araç.
Sonuç: Fiyat/Performans Kralı Hâlâ 2. El RTX 3090 mı?
Yapay zekâ meraklıları arasında şu an en popüler donanım hamlesi, 24 GB VRAM kapasitesine sahip ikinci el bir RTX 3090 edinmektir. Çünkü saf oyun performansından bağımsız olarak, 24 GB bellek havuzu 34 milyar parametreli canavarları bile masanızda tek başına çalıştırmanıza izin verir.
Kendi bilgisayarınızda çevrimdışı bir yapay zekâ çalıştırmak sadece elektrikten tasarruf ettirmez; dijital mahremiyetinizi ve bağımsızlığınızı tamamen kendi kontrolünüz altına almanızı sağlar!
Söz Sizde: Bilgisayarınızda Yerel AI Denediniz mi?
Sisteminizde Ollama veya LM Studio çalıştırdınız mı? Hangi modeli ve kaç GB VRAM'li kartı kullanıyorsunuz? Karşılaştığınız performans sonuçlarını yorumlarda paylaşın!
