Tek bir bilgisayarın donanım gücünü en verimli şekilde kullanarak devasa yapay zeka modellerini yerel olarak çalıştırmayı sağlayan yeni bir sistem geliştirildi. Bu sayede, normalde devasa sunucu kümeleri gerektiren dev modeller artık kişisel iş istasyonlarında çalışabiliyor.
Yapay zeka modellerinin sunduğu yetenekler hızla artarken, bu modelleri çalıştırmanın maliyeti ve donanım gereksinimleri bireysel geliştiriciler ile küçük ekipler için büyük bir engel teşkil ediyor. UC Berkeley ve UT Austin araştırmacılarının geliştirdiği FreeToken, kişisel bilgisayarları birer veri merkezine dönüştürerek bu soruna çare arıyor. Apache-2.0 lisansıyla GitHub üzerinden yayınlanan ve PyPI (freetoken[accel]) ile kurulan sistem, Apache-2.0 lisansına sahip ve Windows ile Linux için tek tıkla masaüstü uygulaması sunuyor.
Sistem, özellikle Uzman Karışımı (MoE) mimarisine sahip devasa modellerin yerel donanımda çalışabilmesini sağlıyor. Örneğin 284B parametreli DeepSeek-V4-Flash modelinde her token için sadece 6 uzman etkinleşirken, FP4 formatında tüm set yaklaşık 140 GB yer kaplıyor. FreeToken, bant genişliğine duyarlı yürütme (q* politikası), anlamsal farkındalıklı önbellekleme ve esnek bellek yönetimi mekanizmalarıyla darboğazları aşıyor. Böylece bir dizüstü bilgisayarın 8 GB GPU’sunda 35B model, oyun bilgisayarında 284B model ve tek bir iş istasyonu kartında 753B GLM-5.2 modeli interaktif hızlarda çalıştırılabiliyor. RTX 5090 üzerinde ise Qwen3.6 ile saniyede 77–83 token hızı yakalanabiliyor.
Gizliliğin ön planda olduğu sağlık, hukuk, savunma ve finans gibi sektörler için gizli kod inceleme, çevrimdışı sözleşme analizi ve yerel kodlama ajanları geliştirmede öne çıkan FreeToken, geliştiricilerin bulut maliyetlerini dramatik ölçüde düşürmeyi hedefliyor.
İlgili yazılar: Liquid AI, Model Çıktılarını Değiştirmeden 3.18 Kat Daha Hızlı Çalışan LFM2.5-DSpark Taslak Modellerini Yayınladı · Nvidia’ya Göre Yapay Zekada Asıl Kahraman Model Değil, ‘Harness’ Yazılımı · Yapay Zeka Ajanlarının Hafızası Nasıl Optimize Edilmeli? IBM Araştırmacılarından Çarpıcı Bulgular
Görsel ve haber kaynağı: MarkTechPost