Yapay zeka modellerini küçültürken performans kaybetmek yerine daha da güçlendiren yeni bir teknik geliştirildi ve bu sayede 4-bit sıkıştırılmış model orijinalini geçti.
Hugging Face üzerinde yayınlanan ve Multiverse Computing tarafından geliştirilen Hypernova-60B-2605 metin üreten yapay zeka modeli, yapay zeka dünyasında dikkatleri üzerine çekti. Yaklaşık 59 milyar parametreye sahip olan bu dev model, “Quantization-Aware Healing” adı verilen gelişmiş bir sıkıştırma tekniği kullanıyor. Bu yöntem sayesinde model, 4-bit gibi oldukça düşük bir hassasiyete sıkıştırılmasına rağmen, tam hassasiyetli orijinal versiyonundan daha üstün bir performans sergilemeyi başarıyor.
Yapay zeka modellerinin boyutunu küçültmek genellikle doğruluk ve yetenek kaybına yol açarken, bu yaklaşım maliyetleri düşürürken performansı artırmasıyla öne çıkıyor. Geliştiriciler ve araştırmacılar, bu sıkıştırılmış modeli Hugging Face üzerinden indirerek donanım maliyetlerini azaltıp daha hızlı çalışan sistemler kurmak için kullanabiliyor. Kısa süre içinde binlerce indirme alan Hypernova-60B-2605, büyük dil modellerinin sıkıştırılmasında yeni bir standart olma potansiyeli taşıyor.
İlgili yazılar: Liquid AI, Model Çıktılarını Değiştirmeden 3.18 Kat Daha Hızlı Çalışan LFM2.5-DSpark Taslak Modellerini Yayınladı
Görsel ve haber kaynağı: Hugging Face