Son beş yıldır yapay zeka endüstrisi, baştan çıkarıcı derecede basit bir önermeyle hareket etti: Modelleri büyüt, onları daha fazla veriyle besle, soruna daha fazla bilişim gücü ayır ve performansın fırlayışını izle. Ampirik ölçekleme yasalarına dayanan bu strateji, dikkat çekici sonuçlar doğurdu. Örneğin GPT-3 gözlerimizi kamaştırdı (Kabul edin genel kullanıcıya ilk açıldığında yaşadığınız o WOW efektini şu son dönemde başka hangi gelişmede yaşadınız?). GPT-4 ise neredeyse sihirli gibiydi. Gidişat durdurulamaz görünüyordu ve yol haritası netti: Sadece ölçeklemeye devam et.
Ancak yapay genel zekaya giden yolda ilginç bir şey oldu. Yükseliş yavaşlamaya başladı. Öyle ki OpenAI, Google ve Anthropic’in en yeni nesil modelleri olağanüstü mühendislik başarılarını temsil etse de çok daha fazla kaynak tüketmelerine rağmen önceki modellere göre yalnızca kademeli iyileştirmeler sunabiliyorlar. Gerçek zamanlı olarak, ölçekleme çağının sonunun başlangıcına tanıklık ediyoruz. İşin ilgi gecekisi tarafı ise bunun sonuçları, hayal kırıklığı yaratan kıyaslama (benchmark) skorlarının çok ötesine uzanıyor. Hayır, felaket tellallığı yapmıyorum.
Azalan Getirilerin Matematiği
Yapay zeka gelişimine yön veren ölçekleme yasaları, bir üs yasası ilişkisini takip eder. Geleneksel olarak, kayıp fonksiyonu; model boyutu, veri kümesi boyutu ve bilişim gücü bütçesinin bir fonksiyonu olarak öngörülebilir bir şekilde iyileşir. Kanonik formülasyon, test kaybının şu şekilde ölçeklendiğini öne sürer:
Burada N model parametrelerini, D veri kümesi boyutunu, C bilişim gücünü temsil eder ve alfa terimleri ampirik olarak belirlenmiş üslerdir. Bu zarif denklem (formül görünce okumadan direkt geçmeyin, karmaşık bir formülden bahsetmiyoruz) bütün bir endüstriyi ilerlemenin sadece bir kaynak tahsisi meselesi olduğuna ikna etti. Daha iyi performans istiyorsanız, tam olarak ne almanız gerektiğini biliyordunuz: Daha fazla GPU, daha fazla veri, daha fazla elektrik.
Ancak sorun şu ki, gerçeklik teoriden son dönemde yavai yavaş sapmaya başladı. Çünkü bu üs yasasının üstelleri artık sabit kalmıyor. Getiriler, denklemlerin öngördüğünden daha hızlı bir şekilde azalıyor ve gerçek dünyanın, matematiksel soyutlamaların rahatlıkla göz ardı ettiği kısıtlamalar getirdiğini keşfediyoruz.
Azalan getirilerle ilgili teorik endişeler yalnızca bir spekülasyondan ibaret değildir; bu endişeler, en gelişmiş modellerin (frontier models) fiili gelişim yörüngesinde açıkça görülmektedir. Eğitim maliyetleri, geliştirme zaman çizelgeleri ve kıyaslama performansı yakından incelendiğinde endişe verici bir örüntü ortaya çıkmaktadır: Her yeni nesil modelin geliştirilmesi katlanarak daha maliyetli hale gelirken, sağladığı iyileştirmeler ise giderek azalmaktadır.
GPT-3’ten GPT-4’e ve ötesine uzanan ilerlemeyi ele alalım. 175 milyar parametreye sahip GPT-3’ün 2020’deki eğitim maliyeti yaklaşık 4,6 milyon dolardı. Sadece üç yıl sonra, GPT-4’ün eğitim maliyetleri 13 kat artarak 63 milyon doların üzerine fırladı. Google’ın Gemini Ultra’sı, yalnızca eğitim için gereken işlem gücü maliyetinin 191 milyon dolara ulaştığı tahminleriyle maliyetleri daha da yukarı çekti. Başarısız deneyler, ince ayar ve Ar-Ge personeli maliyetleri de dahil olmak üzere tam geliştirme döngüsü hesaba katıldığında, GPT-4 ve Gemini Ultra gibi modellerin toplam harcamaları yüz milyonlarca dolara ulaşmaktadır.
| Model | Çıkış Yılı | Tahmini Eğitim Maliyeti | Geliştirme Süresi | MMLU Skoru | Öncekine Göre İyileşme |
| GPT-3 | 2020 | 4,6 Milyon $ | ~6 ay | ~%70 | Referans |
| GPT-4 | 2023 | 63 Milyon $+ | ~12-18 ay | %86,4 | +%16,4 |
| Gemini Ultra | 2024 | 191 Milyon $ | ~18-24 ay | ~%85-86 | +%15-16 |
| Claude 4 | 2025 | 150 Milyon $+ (tahmini) | ~18-24 ay | ~%85-86 | +%0-1 |
| GPT-4.5 | 2025 | 200 Milyon $+ (tahmini) | ~24+ ay | %88-90 | +%2-4 |
Kaynaklar: Epoch AI, OpenAI açıklamaları ve sektör analizlerinden alınan eğitim maliyeti tahminleri; SWE-bench, MMLU ve yayınlanmış model değerlendirmelerinden alınan kıyaslama skorları
Rakamlar çarpıcı bir tablo ortaya koyuyor. Eğitim maliyetleri 2016’dan bu yana yılda yaklaşık 2,4 kat artmaktadır ve bu eğilim devam ederse en büyük eğitim süreçlerinin maliyeti 2027 yılına kadar 1 milyar doları aşacaktır. Buna rağmen, standartlaştırılmış kıyaslamalardaki performans iyileştirmeleri önemli ölçüde yavaşlamıştır. GPT-3’ten GPT-4’e geçiş MMLU’da 16 yüzde puanlık anlamlı bir sıçramayı temsil ederken, GPT-4’ten en son nesil modellere geçişteki artış, maliyetlerin üç veya dört katına çıkmasına rağmen sadece 2-4 yüzde puanı seviyesindedir.
Claude 4’ün SWE-bench’te %72,7 gibi etkileyici bir başarıya ulaştığı yazılım mühendisliği gibi özel görevlerde bile, önceki nesillere göre iyileştirmeler, yatırılan kaynağa kıyasla marjinal kalmaktadır. Tek haneli yüzde puanlık kazanımlar için yüz milyonlarca dolar daha fazla harcıyoruz – bu, herhangi bir Finans Direktörünü (CFO) durup düşündürmesi gereken bir maliyet-fayda oranıdır.
Veri Kıtlığı
Makine öğreniminin en temel kaynağını düşünün: eğitim verisi. İnsanlığın bilgi ve ifadesinin o engin deposu olan internetin sonlu olduğu ortaya çıktı. Birden fazla araştırma analizi, 2026 yılı civarında yüksek kaliteli, halka açık metin verisi arzını tüketeceğimizi öngörüyor. Bu, uzak gelecek için varsayımsal bir endişe değil. Bu, yeni nesil modellerini planlayan laboratuvarlar için acil bir kriz. Tam anlamıyla bir kriz.
Buradaki ironi neredeyse şiirsel. İnsan tarafından üretilen içeriği tüketerek öğrenen sistemler inşa ettik, onları akıl almaz boyutlara ölçekledik ve şimdi onları mümkün kılan temel katmanın (substrat) kendisini tüketiyoruz. Yüksek kaliteli veri (doğru, iyi yazılmış, çeşitli ve yasal olarak erişilebilir metinler (Bunlar içilebilir su gibidir, insanlık olarak her ne kadar çevremiz bunlarla sarılı sansak da o kadar çok yokturlar)) haklı bir nedenle “yeni petrol” olarak adlandırıldı. Ve petrol gibi, bu da endişe verici bir oranda tükettiğimiz bir kaynak.
Diğer taraftan önerilen çözüm diye lanse edilen sentetik veri, bir serap olduğunu kanıtladı. Fikir yeterince mantıklı görünüyor: kendi kendini idame ettiren bir döngü yaratarak, diğer yapay zeka modelleri için eğitim verisi üretmek üzere yapay zeka modellerini kullanmak. Ancak pratikte bu yaklaşım, bir tür entelektüel soy içi üremeden muzdarip. Ağırlıklı olarak sentetik veri üzerinde eğitilen modeller, araştırmacıların “model çöküşü” olarak adlandırdığı, performansın sonraki nesiller boyunca düştüğü bir durum sergiliyor. Çıktı, orijinal eğitim verisini değerli kılan çeşitliliği ve zenginliği kaybederek giderek daha homojen hale geliyor. Anlaşılıyor ki zekayı sonsuza dek kendi kendine var edemiyoruz. Bir noktada, sisteme yenilik ve doğruluk enjekte etmek için gerçek insan düşüncesine ve ifadesine ihtiyacınız var. E ne oldu, ele filan geçiriliyorduk en son?
(15F 61 6B 61 15F 61 6B 61)
Tatlı Bela: Enerji Denklemi
Diyelim ki veri sorununu çözebilsek bile, yine de enerji duvarıyla karşı karşıya kalırdık. En gelişmiş modelleri eğitmek için gereken bilişimsel gereksinimler katlanarak arttı ve elektrik tüketimi şaşırtıcı boyutlarda. Mevcut tahminler, üretken yapay zeka sistemlerinin şimdiden her yıl bütün ülkeler kadar enerji tükettiğini gösteriyor. Uluslararası Enerji Ajansı, veri merkezi elektrik talebinin hem şebeke kapasitesini hem de iklim taahhütlerini zorlayan oranlarda büyümeye devam edeceğini öngörerek bu gidişat hakkında alarm zillerini çaldı.
Enerji ölçekleme ilişkisi özellikle acımasızdır:
Burada E enerji tüketimini temsil eder ve ile üsleri, enerjinin model boyutu ve veri ile nasıl ölçeklendiğini yönetir. Zaman bileşeni olan t de önemlidir. bu eğitim çalışmaları, devasa özel donanım kümeleri üzerinde haftalar veya aylar sürer. Bir sınır model için tek bir eğitim çalışması, sadece elektrik maliyeti olarak on milyonlarca dolara mal olabilir.
Makine öğrenimi alanında eski bir deyim vardır: “Bir sinir ağını nasıl daha doğru hale getirirsiniz? Daha fazla katman ekleyin. Bu işe yaramadığında ne yaparsınız? Daha fazla GPU ekleyin. GPU’larınız bittiğinde ne yaparsınız? Daha büyük bir enerji santrali bulun.” İşin kötüsü artık bu lafın sonuna geldik ve artık komik bile değil. Bazı laboratuvarlar artık özel güç kaynakları sağlamak için doğrudan kamu hizmeti şirketleri ve hükümetlerle pazarlık yapar hale geldi. Doğal olarak bu, sizin de hak vereceğiniz gibi teknolojik ilerleme için sürdürülebilir bir model değil. Sonuçta insanlık olarak savaşmaya, saçma eğlence alanlarına ve hatta pornografik kaynaklar gibi ayırmamız gereken daha mühim alanlar var (!)
UNESCO ve UCL’den yapılan araştırmalar, model sıkıştırma ve uzmanlar karışımı mimarileri gibi tekniklerin, rekabetçi performansı korurken enerji tüketimini %90’a kadar azaltabildiğini gösteriyor. Bu bulgular, yaklaşımımızda verimlilik yerine ölçeği optimize ederek büyük ölçüde verimsiz olduğumuzu gösteriyor. Ancak rotayı değiştirmek, ölçekleme paradigmasının sınırları olduğunu kabul etmeyi gerektirir ve bu, her şeyini “daha büyük daha iyidir” üzerine kurmuş bir endüstri için zorlu bir hesaplaşmayı temsil eder.
Mimari Yol Ayrımı ve Sorunlar
Bu kısıtlamalar temel bir soruyu zorunlu kıldı: 2017’den beri yapay zeka gelişimine hükmeden Transformer mimarisi, sinir ağı tasarımında son söz mü? Yoksa sadece bu özel paradigmanın başarabileceklerinin sınırlarına mı ulaştık?
Yapay zeka topluluğu içinde büyüyen bir ayrışma var. Bir taraf ölçeklemenin devam edeceğini, sadece veri verimliliği konusunda daha akıllı olmamız gerektiğini, algoritmik iyileştirmelerin bize daha fazla alan açacağını savunuyor. Mevcut mimarilerden daha fazla değer elde etmenin yolları olarak geri getirme destekli üretim, anayasal yapay zeka ve insan geri bildiriminden pekiştirmeli öğrenme gibi tekniklere işaret ediyorlar. Diğer taraf ise temelden yeni yaklaşımlara (farklı mimarilere, farklı eğitim paradigmalarına, hatta belki de farklı bilişimsel altyapılara) ihtiyacımız olduğunu savunuyor.
DeepSeek ve Qwen gibi yüksek verimli açık kaynaklı modellerin ortaya çıkışı, bu tartışmaya büyüleyici yeni bir boyut kattığını heyecanla belirtmeliyim. Bu modeller, çok daha az parametre ve bilişimsel kaynakla rekabetçi bir performans elde ediyor. Örneğin DeepSeek, her görev için ağın yalnızca ilgili bölümlerini etkinleştiren uzmanlar karışımı mimarileri kullanarak çıkarım maliyetlerini önemli ölçüde azaltıyor. Qwen ise eğitim verisinin dikkatli bir şekilde seçilmesinin ve verimli mimari tercihlerin, kendisinden kat kat büyük modellerle rekabet edebileceğini gösteriyor.
Bu açık kaynak girişimleri sadece teknik başarılar değil aynı zamanda ölçekleme ortodoksluğuna karşı felsefi bir karşı argümanı temsil ediyorlar. Zekanın sadece boyutun bir fonksiyonu olmadığını, dikkatli tasarım ve verimliliğin kaba kuvvetle rekabet edebileceğini öne sürüyorlar. Dahası, gelişmiş yapay zeka yeteneklerine erişimi demokratikleştirerek, teknolojiyi eğitim çalışmaları için yüz milyonlar harcamayı göze alamayan araştırmacılar ve kuruluşlar için erişilebilir kılıyorlar.
Stanford AI Index 2025 raporu bakmanızı tavsiye ederim, rapor sadece teknik yavaşlamayı değil, aynı zamanda yapay zeka güvenliği, güvenlik olayları ve gizlilik ihlalleri etrafında artan endişeleri de belgeliyor. Kontrolsüz ölçekleme, ancak yeni yeni hesaba katmaya başladığımız çevresel, sosyal ve etik maliyetleri dışsallaştırdı. Sürekli daha büyük modeller inşa etme telaşı, bazen güvenlik araştırmaları, yorumlanabilirlik ve ikincil etkilerin dikkatli bir şekilde değerlendirilmesi pahasına gerçekleşti.
Tanık olduğumuz şey yapay zeka ilerlemesinin ölümü değil, daha ziyade en saf evresinin sonu. Endüstri olgunlaşmaya, ölçekleme yasaları geçerliyken görmezden gelmesi kolay olan ödünleşimler ve kısıtlamalarla yüzleşmeye zorlanıyor. Bu nihayetinde sağlıklı bir durum. Kulağa kötü gibi gelse de bazı zamanlar sınırlarınızı görmek, bu sınarları kırmabilmek için en büyük motivasyon ve kılavuzlardan biridir.
Bu da beraberinde verimlilikle birleştirilen mimari tasarımda, nicelikten çok niteliğe önem veren veri kalitesinde inovasyonu teşvik edecektir. Bizi, sistemleri sadece daha büyük yapıp beliren yetenekler ummak yerine, bu sistemlerin gerçekte ne yapmasını istediğimiz konusunda daha derin düşünmeye zorlayacaktır.
Yapay zekanın geleceğini, en büyük süper bilgisayarı alabilen veya en çok veriyi kazıyabilen değil, minimum kaynaktan maksimum zekayı çıkarabilen, monolitik genel amaçlı devasa yapıların peşinden gitmek yerine belirli ihtiyaçlara göre uyarlanmış sistemler tasarlayabilen ekipler inşa edecekler. Bu ise sadece mühendislik ölçeği değil, algoritmik yaratıcılık gerektirecektir. Verimlilik, sürdürülebilirlik ve amaç hakkında derinlemesine düşünmemizi talep ediyor.
Ölçekleme çağı olağanüstü bir ilerleme sağladı ve bize büyük ölçekli sinir ağlarının potansiyeli hakkında öğrettikleri için minnettar olmalıyız. Ancak her çağ eninde sonunda sona erer. Bu gerçeği ne kadar çabuk kabul eder ve ona göre adapte olursak, yeni nesil yapay zeka sistemlerini daha akıllı, daha verimli ve gerçek dünyanın hakiki ihtiyaçları ve kısıtlamalarıyla daha uyumlu inşa etmeye o kadar çabuk başlayabiliriz. Duvar gerçek ve artık ona doğru tam hızda koşmayı bırakma zamanı geldi. Belki de duvarı atlamak da bir çözümdür. Kim bilir?
