Yerel Yapay Zeka Modelleri Nedir Ve Nasıl Çalıştırılır?

Selamlar TürkHacks ailesi!

Bugün sizlerle internet bağlantısına ihtiyaç duymadan, tamamen kendi bilgisayarınızda yerel (local) yapay zekâ modellerini nasıl kurup çalıştırabileceğinizi ve bu süreçlerin nasıl olduğunu anlatacağım.

Cloud tabanlı sistemlere (ChatGPT) bağımlı kalmak istemeyenler, verilerinin gizliliğini korumak isteyenler için faydalıdır.

1. Peki Neden Yerel (Local) AI Modeli? ​

• Gizlilik ve Güvenlik: Yazdığınız tüm promptlar ve hassas verileriniz hiçbir dış sunucuya gönderilmez. Tamamen sizin cihazınızda işlenir ve kalır.
• İnternetsiz Çalışma: İnternet bağlantısının olmadan yapay zekâ modellerinden faydalanabilirsiniz.
• Sansürsüz ve Özgür: Büyük teknoloji şirketlerinin modellerine koyduğu güvenlik filtreleri veya kısıtlamalar olmaksızın, tamamen açık kaynaklı ve özgür modelleri dilediğiniz gibi kullanabilirsiniz.
• Sıfır Maliyet / Sınırsız Kullanım: Herhangi bir API ücreti, token sınırı veya günlük mesaj limiti bulunmaz. Donanımınız yettiği sürece sınırsızca çalıştırabilirsiniz.

2. Donanım Gereksinimleri​

Yerel model çalıştırırken sistemin en kritik bileşenleri VRAM ve RAM miktarıdır. Modellerin boyutu doğrudan bellek ihtiyacını belirler.

• Düşük / Başlangıç Seviyesi (7B / 8B Modeller):
  • Minimum 8-16 GB RAM ve en az 4-6 GB VRAM.
  • 16-32 GB RAM ve 12-16 GB VRAM. Daha karmaşık mantıksal görevler ve kodlama işlemleri için idealdir.

3.Peki Bunları Nasıl Ve Nerde Çalıştırılır ​

Yöntem A: Ollama​

Komut satırını sevenler, arka planda bir servis olarak çalıştırmak ve kendi uygulamalarına entegre etmek isteyenler için güzel bir araçtır.

1. Kurulum: ollama.com adresinden işletim sisteminize (Windows, Linux, macOS) uygun sürümü indirin ve kurun. Ollama arka planda bir servis olarak çalışmaya başlar.
2. Model İndirme ve Çalıştırma: Terminali (CMD, PowerShell veya Linux terminali) açın ve şu komutu girin:
   
   ollama run llama3
3. Bu komut otomatik olarak modelin boyutuna uygun sürümünü indirir ve doğrudan terminal içerisinde interaktif bir sohbet başlatır.
4. Temel Komutlar:
   • Yüklü modelleri görmek için: ollama list
   • Farklı bir model çalıştırmak için : ollama run mistral
   • Çalışan modeli kapatmak için: /exit

Yöntem B: LM Studio​

Terminalle uğraşmak istemeyen, modern ve görsel bir arayüz arayan kullanıcılar için en iyi seçenektir.

1. Kurulum: lmstudio.ai adresinden uygulamayı indirip kurun.
2. Model Arama ve İndirme: Sol taraftaki arama sekmesinden istediğiniz modeli aratın. Sağ taraftan sisteminize uygun kuantizasyon seviyesini seçip indirin.
3. Sohbet Başlatma: Sol menüdeki "Chat" sekmesine gidin, üst kısımda indirdiğiniz modeli seçin. Model hafızaya (VRAM/RAM) yüklendikten sonra doğrudan sohbet etmeye başlayabilirsiniz.
4. Yerel Sunucu (Local Server): LM Studio, arayüzün yanı sıra yerel ağınızda veya kendi bilgisayarınızda OpenAI uyumlu bir API sunucusu (http://localhost:1234) ayağa kaldırmanıza olanak tanır. Böylece standart OpenAI kütüphanelerini değiştirerek kendi yerel modelinize istek atabilirsiniz.

Saygılarımla,

MEGEPRO22

Aleyküm selam eline sağlık

Aleyküm selam eline sağlık

Aleykümselam elinize sağlık, yanlız küçük bir dipnot ekliyim , 24 GB VRAM'iminiz yoksa hiç bulaşmayın verim alamazsınız.

saol

Eline sağlık