Telefonlarda ve küçük cihazlarda yapay zeka modellerinin gerçekte nasıl çalıştığını ölçen yeni bir açık kaynaklı test aracı yayınlandı. Bu araç, donanım, model ve yazılım uyumunu bir arada test ederek gerçekçi performans sonuçları veriyor.
Liquid AI, yapay zeka modellerinin sunucu dışındaki cihazlarda, yani akıllı telefonlar ve kenar donanımlarda nasıl performans gösterdiğini ölçen açık kaynaklı test paketi Pipette‘i duyurdu. Artificial Analysis ortaklığıyla geliştirilen Pipette, yapay zeka davranışını tek başına modelin değil, bütün bir sistemin özelliği olarak ele alıyor. Ölçüm birimi olarak “model + kuantalama + çalışma zamanı (runtime) + cihaz” kombinasyonunu kullanan sistem, 30’dan fazla model ve 1.000’den fazla konfigürasyonu kapsıyor.
Yayınlanan ilk veri seti; MacBook Pro M5 Max, iPhone 17 Pro ve Galaxy S26 Ultra gibi cihazlar üzerinden elde edilen sonuçları içeriyor. Örneğin, Galaxy S26 Ultra üzerinde yapılan testlerde Q4_K_M kuantalamasında Granite-4.0-H-350M modeli 256’dan 4,096 input token uzunluğuna çıkarken decode throughput oranının yüzde 78.4’ünü korurken, Granite-4.0-350M modeli sadece yüzde 33.8 oranını koruyabiliyor. Ayrıca LFM2.5-8B-A1B modeli seyreltik aktivasyon (sparse activation) sayesinde Qwen3.5-4B’den 2.4 kat daha hızlıdecode yapabiliyor.
Pipette; pipette-mgmt, pipette-clients ve pipette-scores bileşenleriyle Apache 2.0 lisanslı altyapı olarak sunuluyor. Geliştiriciler, donanım üreticileri ve kurumsal ekipler; donanım tedarik doğrulamasından model seçimine, bağlam uzunluğu kapasite planlamasından bağımsız performans doğrulamasına kadar geniş bir yelpazede bu araçtan faydalanabiliyor.
İlgili yazılar: Liquid AI, Model Çıktılarını Değiştirmeden 3.18 Kat Daha Hızlı Çalışan LFM2.5-DSpark Taslak Modellerini Yayınladı
Görsel ve haber kaynağı: MarkTechPost