AI alanındaki karmaşa: Transformers'tan çoklu model savaşlarına

Geçen ay, AI endüstrisinde şiddetli bir "hayvan savaşı" patlak verdi. Bir taraf, belirli bir teknoloji devinin sunduğu lama modeli, açık kaynak özellikleri ile geliştiriciler arasında popülerlik kazandı. Diğer taraf ise Mayıs ayında piyasaya çıkan ve lama modelini geride bırakarak açık kaynak LLM sıralamasında zirveye oturan "Şahin" adlı büyük modeldi.

İlginç bir şekilde, "Şahin"in geliştiricisi bir teknoloji şirketi değil, Birleşik Arap Emirlikleri'nde bulunan bir araştırma enstitüsüdür. Birleşik Arap Emirlikleri Yapay Zeka Bakanı daha sonra Time dergisinin "Yapay Zeka alanında en etkili 100 kişi" listesine seçilmiştir.

Bugün, AI alanı "kaos içinde dans" aşamasına girmiştir. Yeterli finansal güce sahip olan ülkeler ve şirketler, kendi büyük dil modellerini oluşturmaktadır. Körfez ülkeleri arasında, bu yarışta sadece bir değil, birden fazla oyuncu bulunmaktadır.

Bir yatırımcı şikayet etti: "O zamanlar internetin iş modeli inovasyonunu küçümsemiş, bir engel olmadığını düşünmüştüm. Beklemediğim şey, sert teknoloji büyük model girişimlerinin hala yüzlerce model savaşı vermesi..."

Başlangıçta yüksek zorlukta bir mühendislik olarak düşünülen bu durum, nasıl oldu da her ülkede aynı şekilde ve her yerde yaygın hale geldi?

Transformer oyunun kurallarını değiştirdi

Bugün her ülke ve işletme büyük modelleri gerçekleştirebiliyorsa, bunun nedeni 2017'de yayımlanan o ünlü "Attention Is All You Need" makalesidir. Bu makale, Transformer algoritmasını tanıttı ve bu AI dalgasının patlak vermesine neden oldu. Günümüzün büyük modelleri, hangi ulustan olursa olsun, Transformer temeli üzerine inşa edilmiştir.

Bundan önce, "makineleri okumayı öğretmek" kabul görmüş bir akademik zorluktu. İnsanlar okurken sadece mevcut kelime ve cümlelere odaklanmaz, aynı zamanda bağlamı anlayarak yorumlar. Erken dönem sinir ağları bunu başaramıyordu, ta ki 2014'te döngüsel sinir ağlarının (RNN) ortaya çıkmasına kadar.

Ancak RNN, çok sayıda parametreyi işlemekte zorlandığı için verimsizlik sorununa sahiptir. Transformer'ın ortaya çıkışı bu sorunu çözdü; konum kodlaması, RNN'nin döngüsel tasarımını yerine geçerek paralel hesaplama sağladı ve eğitim verimliliğini büyük ölçüde artırdı. Bu değişiklik, AI'nın büyük model çağını girmesini sağladı.

Transformer, doğal dil işleme alanında hızla ana akım bir çözüm haline geldi. Büyük modelleri teorik araştırmadan saf bir mühendislik sorununa dönüştürdü - yeterli hesaplama gücü ve veriye sahip olan herhangi bir teknik kapasiteye sahip şirket büyük bir model oluşturabilir.

Bir bilgisayar bilimcisinin dediği gibi, yapay zeka, elektrik ve internet gibi evrensel bir teknoloji haline geliyor. Bazı şirketlerin büyük modelleri hâlâ önde olsa da, analistler diğer teknoloji devlerinin de yakında benzer seviyede ürünler geliştirebileceğini öngörüyor.

Çoklu Model Savaşı'nın Arkasındaki Düşünceler

Bu yıl Temmuz itibarıyla, Çin'de büyük model sayısı 130'a ulaştı ve Amerika'yı geçti. Çin ve Amerika dışında, Japonya, Birleşik Arap Emirlikleri, Hindistan, Güney Kore gibi bazı daha zengin ülkeler de kendi büyük modellerini tanıttı.

Bu durum, internet balonu dönemini hatırlatıyor. Ancak, bu alana girmek kolay olsa da, herkes AI çağının devlerinden biri olamaz. Açık kaynak büyük modeller örneğinde olduğu gibi, aktif geliştirici topluluğu, temel rekabet avantajıdır. Bir sosyal medya devi bu durumu iyi biliyor ve açık kaynak büyük model serisi, bu alandaki referans noktası haline geldi.

Ancak, çoğu büyük modelin performansı hala en iyi ürünlerle belirgin bir fark göstermektedir. En son AgentBench test sonuçları, ikinci olanın puanının birincinin puanının üçte ikisinden daha az olduğunu göstermektedir. Bu fark, en iyi şirketlerin sahip olduğu mükemmel bilim insanı ekipleri ve uzun yıllar boyunca biriken deneyimden kaynaklanmaktadır.

Büyük modellerin temel yeteneği yalnızca parametre sayısında değil, aynı zamanda ekosistem inşasında ( açık kaynak modellerine ) veya saf çıkarım yeteneğine ( kapalı kaynak modellere ) bağlıdır. Açık kaynak topluluğunun gelişimiyle birlikte, çeşitli büyük modellerin performansları benzer hale gelebilir.

Büyük zorluk ticarileşmedir. Sadece birkaç istisna dışında, çoğu AI şirketi büyük maliyetler girdikten sonra hâlâ kârlılık modeli bulamamıştır. Hatta sektörün önde gelen şirketleri bile AI ürünlerinin fiyatlandırmasında zorluklarla karşı karşıyadır.

Yüksek hesaplama gücü maliyetleri, sektörün gelişimi için bir engel haline geldi. Tahminlere göre, dünya genelindeki teknoloji şirketlerinin büyük model altyapısına yıllık harcamaları, sağladıkları gelirleri çok aşabilir ve büyük bir açık bulunmaktadır.

Bazı şirketlerin devrim niteliğindeki ürünleri bu AI devrimini tetiklemesine rağmen, yalnızca büyük modellerin eğitimiyle yaratılan değerin güvenilirliği hala sorgulanmaktadır. Rekabetin artması ve açık kaynaklı modellerin çoğalmasıyla, saf büyük model sağlayıcıları daha fazla baskı ile karşılaşabilir.

iPhone 4'ün başarısı sadece işlemcisinde değil, aynı zamanda çeşitli uygulamaları çalıştırabilmesindedir. AI alanındaki gerçek değer de belki de somut uygulamalarda kendini gösterecektir.