Liquid AI, yapay zeka modellerinin cevap üretme hızını doğruluk oranından ödün vermeden 3 kattan fazla artıran yeni bir teknoloji geliştirdi. Bu sayede özellikle cihaz üzerinde çalışan yapay zeka araçları çok daha akıcı ve hızlı yanıt verebilecek.
Liquid AI, LFM2.5 model ailesi için geliştirdiği DSpark taslak model checkpoint’lerini açık kaynak olarak duyurdu. LFM2.5-1.2B-Instruct, LFM2.5-2.6B ve LFM2.5-8B-A1B modellerini kapsayan bu yeni yaklaşım, spekülatif kod çözme yoluyla mevcut hedef modellere entegre ediliyor. Yaklaşık 300 milyon parametreli bir taslak model, bir blok halindeki dokuz aday token’ı öneriyor ve hedef model bu bloğu tek bir ileri geçişte doğruluyor.
Sistem, greedy decoding (açgözlü kod çözme) altında hedef modelin ürettiği diziyi birebir koruyarak benchmark doğruluğunda hiçbir kayıp yaşatmıyor. Yapılan ölçümlere göre H100 GPU üzerinde 3.18 kata kadar, M4 Max işlemcili MacBook Pro’da ise 2.87 kata kadar daha hızlı kod çözme performansı elde ediliyor. Llama.cpp ve SGLang gün-bir desteği sunarken, ağırlıklar Safetensors ve GGUF formatlarında paylaşılıyor. LFM Open License v1.0 lisansı, yıllık 10 milyon doların altındaki gelirler için ücretsiz ticari kullanıma izin veriyor.
Teknik altyapı; DFlash tarzı bir paralel omurga, Markov zinciri tabanlı hafif bir ardışık kafa ve güven skoru zamanlayıcılı bir doğrulayıcıyı birleştiriyor. Test sonuçlarına göre MATH500, HumanEval ve GSM8K gibi veri setlerinde başarım ciddi oranda artarken, çoklu araç fonksiyon çağrısı senaryolarında gecikme ortalama yüzde 57 oranında azalıyor. Bu gelişme, özellikle çevrimdışı çalışan yapay zeka ajanları, yerel kodlama asistanları ve edge cihazlar için büyük bir performans sıçraması sunuyor.
İlgili yazılar: Yapay Zeka Ajanlarının Hafızası Nasıl Optimize Edilmeli? IBM Araştırmacılarından Çarpıcı Bulgular
Görsel ve haber kaynağı: MarkTechPost