Konu İçeriği
AI’yı İnternetsiz Çalıştırdım — Kendi Bilgisayarımda Yerel Yapay Zeka
ChatGPT’ye her soru sorduğumda midem kalkmaya başlamıştı. “Bu belgemi okuyor, kaydediyor, satıyor olabilir mi?” diye düşünmekten yoruldum. Çözümü buldum: yapay zekayı internete hiç bağlamadan, kendi bilgisayarımda çalıştırdım. İşte yerel AI deneyimim — hem heyecan verici hem de biraz hayal kırıklığı yaratan bir macera.
Buna “yerel AI” veya “local LLM” deniyor. En popüler araç Ollama. Basitçe: büyük bir dil modelini bilgisayarınıza indirip, internet olmadan çalıştırıyorsunuz. Verileriniz cihazdan çıkmıyor. Ben bunu bir hafta boyunca kullandım ve bu yazıda nasıl kurulduğunu, ne işe yaradığını ve nerede tıkanacağını dürüstçe anlatıyorum.
Neden Yerel AI? Gizlilik
Şu gerçeği kabul edelim: bulut tabanlı AI araçları (ChatGPT, Claude, Gemini) verilerinizi sunucularına gönderiyor. Çoğu şirket bu verileri “eğitim için” kullanabileceğini söylüyor. Özel belgeler, iş sırları, kişisel mektuplar… Bunları bir yapay zeka şirketine göndermek bana güven vermedi.
Yerel AI’da ise tüm işlem bilgisayarınızda oluyor. Fişi çekseniz bile çalışır. Bu, gizlilik paranoyakları (benim gibi) için bir rüya.
Kurulum — Daha Kolay Olamazdı
Ollama’yı kurmak sandığınızdan kolay. Siteden indiriyorsunuz, kuruyorsunuz, sonra terminalde şunu yazıyorsunuz: ollama run llama3. O kadar. İlk seferinde modeli indiriyor (birkaç GB), sonra hazır.
Benim ilk şaşkınlığım: “Gerçekten bu kadar basit mi?” Evet. AI’ın bu kadar erişilebilir hale gelmesi biraz ürkütücü de. Komut satırından korkan biri bile 5 dakikada kurabilir.
Hangi Model? Donanımına Göre Değişiyor
İşte asıl kısıt burada. Her model farklı donanım ister. Ben denediğim modeller:
| Model | Boyut | RAM İhtiyacı | Kullanım |
|---|---|---|---|
| Llama 3 (8B) | ~5 GB | 8 GB | Genel sohbet, hızlı |
| Mistral (7B) | ~4 GB | 8 GB | Hızlı, hafif |
| Phi-3 (mini) | ~2,5 GB | 4 GB | Zayıf bilgisayarlar için |
| Llama 3 (70B) | ~40 GB | 64 GB+ RAM | En güçlüsü, ağır donanım |
| Code Llama | ~5 GB | 8 GB | Kod yazma |
Benim laptop’ım 16 GB RAM’li. Llama 3 (8B) rahat çalıştı ama 70B’lik dev model bellek yetmediği için çalışmadı. Yani “en güçlü” AI’ı istiyorsanız, güçlü bir makine şart.
Hız — Bulut ile Yerel Karşılaştırması
Yerel AI hızlı ama bulut kadar değil. Llama 3 bende saniyede ~25 token üretti — yani okunabilir hızda ama ChatGPT kadar “şipşak” değil. Cevapları beklemek biraz sabır istiyor.
İyi tarafı: asla “sunucu meşgul” hatası almazsınız. Bulut AI’lar yoğun saatlerde yavaşlar veya kota uygular. Kendi AI’ınız hep orada, hep ücretsiz, hep hızlı (donanımınız izin verdiği sürece).
Ne İşe Yaradı, Ne Yaramadı?
Ne İşe Yaradı
- Hassas belgeleri özetleme: İş sözleşmemi, banka belgemi lokalde özetledim. Hiç buluta gitmedi.
- Fikir jimnastiği: Yazı taslakları, e-posta kalıpları — hızlı ve gizli.
- Kod yardımı: Code Llama ile basit fonksiyonlar yazdırdım. Çoğu çalıştı.
- İnternet olmadan: Tren yolculuğunda, uçakta AI kullanabildim.
Ne Yaramadı
- Güncel bilgi: Modeller belirli bir tarihten sonrasını bilmiyor. “Bugün hava nasıl” diye soramazsınız.
- Web araması: İnternete bağlanmıyor, araştırma yapmıyor.
- Karmaşık akıl yürütme: Çok adımlı mantık işlerinde zayıf. Büyük bulut modeller daha iyi.
- Görsel: Çoğu model sadece metin. Görsel analizi sınırlı.
Donanım Tavsiyem
Eğer yerel AI denemek istiyorsanız: en az 16 GB RAM ve mümkünse bir GPU şart. Apple Silicon (M1/M2/M3) Mac’ler bu konuda harika — birleşik bellek sayesinde büyük modelleri kolay çalıştırıyor. Windows’ta bir NVIDIA GPU işinizi çok kolaylaştırır.
Zayıf bir bilgisayarınız varsa, küçük modeller (Phi-3) deneyin. Ya da bu işi bırakın — bulut AI hâlâ daha pratik.
Sıkça Sorulan Sorular
Yerel AI ücretsiz mi?
Evet. Modeller açık kaynak ve ücretsiz. Tek maliyet elektrik ve donanım. Ama güçlü modeller için iyi bir bilgisayar gerek.
ChatGPT’nin yerini tutar mı?
Tam tutmaz. Yerel AI gizli ama daha az güçlü ve güncel değil. İkisini birlikte kullanmak en mantıklısı: günlük için bulut, hassas işler için yerel.
Kurulum zor mu?
Ollama ile çok kolay. 5 dakikada kurulur. LM Studio gibi görsel araçlar da var — terminal sevmeyenler için.
Hangi donanım gerekli?
En az 8 GB RAM (küçük modeller için). 16 GB ideal. Güçlü modeller için 32-64 GB veya GPU. Apple Silicon Mac’ler çok iyi.
Verilerim gerçekten güvende mi?
Evet, hiçbir veri cihazdan çıkmıyor. İnternet kapalıyken bile çalışır. Bu, yerel AI’ın en büyük avantajı.
İlgili Yazılarım
Gizlilik ve yapay zeka üzerine diğer yazılarım:
- Windows 12’ye Geçtim — Yapay Zeka Özellikleri — Sistemde bulut AI deneyimi
- Claude Code mu Cursor mı Windsurf mu? — AI ile kod yazma araçları
- Veri Brokerlerinden Verilerimi Sildim — Verilerimi korumanın bir başka yolu
Sonuç
AI’yı internetsiz çalıştırdım ve gizlilik endişem büyük ölçüde giderildi. Hassas belgelerimi lokalde özetleyebilmek, internet olmadan AI kullanabilmek gerçekten değerli. Ama yerel AI henüz bulutun yerini tutmuyor — daha az güçlü, güncel değil ve iyi donanım istiyor.
Benim tavsiyem: ikisini birlikte kullanın. Günlük hızlı işler için bulut AI, özel ve gizli işler için yerel AI. Ollama’yı kurmak 5 dakikanızı alır, denemeye değer. Belki benim gibi “verilerim nereye gidiyor” paranoyasından kurtulursunuz. Yerel AI gelecekte daha güçlenecek — şimdiden alışmaya başlamak mantıklı. Fişi çekseniz bile çalışan bir AI’ınız olması, garip bir şekilde huzur veriyor.
