Artificial Analysis’tan Hızlandırılmış Güncellemeler: Üç Yeni Sürümle Sıralama Değişti
Artificial Analysis yetkilileri, yapay zeka platformu için hazırlanan v4.1.1, v4.2 ve v4.3 sürümlerinin, daha kapsamlı v5 güncellemesinden önce hızlı bir geliştirme süreci olarak sunulduğunu duyurdu. Sektördeki hızlı gelişimlere dair endişeler nedeniyle, bu güncellemelerin ertelenemeyeceği vurgulandı.
Güncellemelerin Etkisi: Üç Günde Neler Değişti?
Güncellemelerin başlangıcında, GPT-6 Astra’nın tanıtıldığı v4.1.1 sürümünde Astra 61 puan alırken, Fable 5.1 modeli 66 puanda bulunmaktaydı. Dört gün sonra çıkan v4.2 sürümünde ise, platform içeriğe yeni değerlendirme kriterleri ekleyerek GPQA Diamond testini devre dışı bıraktı. Bu aşamada Fable 5.1’in puanı 57’ye ve Astra’nın puanı 55’e geriledi.
Üç gün sonra yayımlanan v4.3 sürümünde ise Terminal-Bench ve AutomationBench-Sondakihaber.com testlerinin entegrasyonu ile iki model 53 puanla eşitlendi.
Eşitlik İhtimalleri: Performans ve Maliyet Farklılıkları
İki modelin eşit puana ulaşması, üretim kararları açısından bazı önemli sonuçlar doğuruyor. Astra v4.3 sürümündeki maliyet karşılaştırmalarına göre, GPT-6 Astra’nın 53 puanlık performansı görev başına ortalama 3,26 dolara mal olurken, Claude Fable 5.1 için bu rakam 7,63 dolara çıktı. Sonuç olarak, Astra aynı performans seviyesinde görev başına yüzde 57 daha düşük maliyet sunarak dikkat çekti. Farkın sebepleri arasında Astra’nın değerlendirme sürecinde daha az çıkarım çipi kullanması öne sürüldü.
Fable 5.1 modeli özellikle bilgi odaklı işlerde ve bilimsel hesaplamalarla öne çıkarken, Astra modeli terminal tabanlı yazılımlarda ve iş akışı otomasyonlarında daha yüksek başarı gösterdi.
Gizli Test Setleri Üzerine Yeni Stratejiler
Modellerin ezber yapmasını engellemek amacıyla Artificial Analysis, gizli test setlerinin kullanımını artırmayı hedefliyor. v4.1 sürümündeki gizli test oranı yüzde 20 iken, bu oran v4.2’de yüzde 40’a, v4.3’te ise yüzde 45’e yükseltildi. Şirket, v5 sürümünde bu oranı daha da arttırmayı planladığını açıkladı.
Sıralamadaki Son Gelişmeler
Son güncellemelerin ardından liderlik tablosunda Astra ve Fable 5.1’in ardından Claude Opus 5 modeli, 51 puanla üçüncü sırada yer aldı. Fable 5 modeli 50, Muse Spark 1.3 modeli 48, ve GPT-5.6 Sol modeli ise 47 puan aldı. Açık kaynaklı modeller arasında GLM-5.3 Flash 42 puanla dikkat çekti.
