Araştırma neyi inceledi?
Bir kedi fotoğrafına bakmakla “koltuktaki kedi” cümlesini okumak farklı işlerdir. Peki görüntüleri ve kelimeleri inceleyen iki yapay zekâ modeli, aynı sahne hakkında benzer iç haritalar oluşturabilir mi?
Randall Balestriero ve Yann LeCun’un ön baskı olarak yayımladığı çalışma bu soruyu inceliyor. Ön baskı, araştırmanın yayımlandığı ancak hakem değerlendirmesinin tamamlandığı anlamına gelmeyen bir çalışmadır. Yazarlar, JEPA adlı yaklaşımın uygun koşullarda farklı modellerin iç temsillerini birbirine yaklaştırabildiğini matematiksel bir çerçeve ve deneylerle gösteriyor.
Basitçe düşünelim: Bir sahneyi anlatan iki farklı açıklama, aynı şeyin iki görünümü olabilir. Araştırmacılar bu tür “iyi görünümlerle” eğitilen modelin, yalnızca sıradaki kelimeyi tahmin ederek öğrenen yaklaşıma göre belirli bir görüntü-metin uyumu ölçümünde daha verimli olduğunu bildiriyor.
Çalışmadaki bir karşılaştırmada JEPA, benzer uyum seviyesine 21,6 milyon eğitim örneğiyle ulaştı; sıradaki kelimeyi tahmin eden yöntem için sayı 900 milyondu. Araştırmacılar bunu yaklaşık 42 kat daha az örnek olarak ifade ediyor. Başka bir ölçümde 109 milyon parametreli metin JEPA’sı 0,184, karşılaştırılan Qwen2.5-72B ise 0,154 uyum puanı aldı. Parametreler modelin öğrendiği ayarlanabilir değerlerdir.
Puanlar neyi göstermiyor?
Bu rakamlar ne söylemiyor? Ölçüm, modellerin iç temsillerinin benzerliğine odaklanıyor. Küçük modelin sohbet, matematik ya da kod yazmada büyük modelleri genel olarak geçtiğini göstermiyor. Araştırmacılar sonuçlarda deneme koşullarına bağlı değişim ve veri örtüşmesi gibi sınırlara da dikkat çekiyor. Matematiksel sonuçlar da çalışmada belirtilen varsayımlar altında geçerli.
Bu araştırma, daha büyük modeller yarışının yanında farklı bir soruyu gündeme getiriyor: Yapay zekâya hangi bilgileri birlikte görmeyi öğretirsek daha anlamlı ortak haritalar elde ederiz?
