Yapay zeka modellerinin yazılım kodlama testlerindeki yüksek puanlarının, acemi mühendislerin işini elinden alacağı anlamına gelip gelmediği araştırıldı ve dört temel koşul incelendi.
Yazılım dünyasında yapay zeka kodlama ajanlarının her yeni model sürümüyle birlikte güçlenmesi, acemi mühendislerin işsiz kalacağı yönündeki yaygın bir endişeyi beraberinde getiriyor. Asif Razzaq imzalı bir analiz, bu sonuca doğrudan varmanın yanlış olduğunu savunarak, yapay zeka ajanlarının gerçek anlamda bir insan mühendisin yerini alabilmesi için gereken dört temel koşulu inceliyor.
İncelemeye göre, METR’in zaman-ufku ölçümleri, modellerin 2019-2025 yılları arasında her yedi ayda bir iki katına çıkan bir başarı oranına ulaştığını gösteriyor. Ancak metrikler incelendiğinde, frontier (en gelişmiş) sistemlerin bir insanın 4 dakikadan kısa sürede bitirdiği görevlerde kusursuz olduğu, 4 saatten uzun süren görevlerde ise yüzde 10’dan az başarı gösterdiği ortaya çıkıyor. Üstelik bu testler, sıfır bağlamla yapılan izole görevleri ölçüyor; oysa bir acemi mühendisin ilk altı ayı tamamen kod tabanı bağlamını anlamakla geçiyor.
İkinci olarak, OpenAI Şubat 2026’da SWE-bench Verified raporlamasını durdurdu ve denetlenen problemlerin yüzde 59.4’ünün hatalı test vakaları içerdiğini ve modelin eğitim verisi sızıntısı yaşadığını açıkladı. Üçüncü koşul olan yapay zeka çıktısını denetleme maliyeti ise, METR’in 16 kıdemli geliştiriciyle yaptığı randomize kontrollü çalışmada yapay zekanın geliştiricileri yüzde 19 daha yavaş hale getirdiğini kanıtladı. Sonuç olarak, yapay zeka ajanlarının acemi yazılımcıları ikame etmesi için gereken teknik ve ekonomik engellerin henüz aşılmadığı görülüyor.
İlgili yazılar: Nvidia’ya Göre Yapay Zekada Asıl Kahraman Model Değil, ‘Harness’ Yazılımı
Görsel ve haber kaynağı: MarkTechPost