Dört galibiyet dikkat çekiyor. Ancak bu karşılaşmada hedef, 25’er hamle sonunda tahtada daha çok taş puanı tutmak. Sonuç, model seçimine yardımcı olabilir; bütün işlerde geçerli bir başarı sırası vermez.
Skorun anlattığı ve anlatmadığı
JC BuenaVentura’nın özgün satranç deneyi, GPT-6 Astra ile Gemini 4 Argon’u dört oyunda karşılaştırıyor. Paylaşılan tam üretici altyazısına göre Astra dört oyunu da kazanıyor. Bu, üreticinin bildirdiği sonuçtur; FoxAI World karşılaşmaları yeniden çalıştırmadı. Deneyin özgün kaynağı: https://www.youtube.com/watch?v=Wq5SmovcgR0
| Oyun | Astra’nın rengi | Astra taş puanı | Argon taş puanı |
|---|---|---|---|
| 1 | Beyaz | 16 | 9 |
| 2 | Siyah | 14 | 13 |
| 3 | Beyaz | 20 | 18 |
| 4 | Siyah | 19 | 13 |
| Toplam | — | 69 | 53 |
Tablo, üretici anlatısındaki dört sonucu bir araya getiriyor. Taş puanı, Elo denen oyuncu gücü derecesi değildir. Bu dört oyundan güvenilir bir Elo değeri veya genel zekâ sıralaması çıkarılamaz.
Deneyde vezir 9, kale 5, fil ve at 3, piyon 1 puan. Mat 39–0 sayılıyor. Mat yoksa toplam 50 yarım hamlede oyun duruyor; yani her taraf yalnızca 25 kez oynuyor. Eşit taş puanında iki taraf da kaybetmiş kabul ediliyor. Bunlar üreticinin özel yarışma kuralları.
FIDE’nin 50 hamle kuralı farklıdır: İki oyuncunun da son 50 hamlesinde piyon hareketi ve taş alma olmaması, sırası gelen oyuncuya doğru başvuruyla beraberlik hakkı verir. Oyunu baştan itibaren 25’er hamlede kesen bir kural değildir. Kaynak: FIDE, madde 9.3 — https://handbook.fide.com/chapter/e012023
Bitiş çizgisi, iyi hamlenin anlamını değiştiriyor
Sabit bir kesme noktası, taş toplamakla uzun vadeli kazanma planı arasındaki ilişkiyi değiştirir. Elli yarım hamlelik sınırda son sözü siyah söyler. Son hamlede alınan bir taşın karşılığını beyazın verme fırsatı kalmaz. Bu, kuraldan çıkan bir değerlendirmedir; belirli oyunun sonucunu tek başına açıklamaz. Üretici renkleri değiştiriyor ve Astra iki renkle de kazanıyor.
Bu nedenle karşılaşmayı, sınırlı bir hedefi izleme ve taşların konumunu takip etme örneği olarak okumak daha yararlı. Üreticinin aktardığı açıklama–hamle uyuşmazlıkları da aynı soruya işaret ediyor: Modelin yazdığı gerekçe, gerçekten seçtiği eylemle örtüşüyor mu? Bunu bağımsız kontrol etmek için tam hamle kaydı ve ham model yanıtı gerekir. Bize sağlanan materyalde bu makinece okunabilir kayıtlar yok; altyazıdaki hamle anlatımı onların yerine geçmiyor.
“Aynı ayar” ne kadar aynı?
Model adları resmî belgelerde mevcut: OpenAI’nin kimliği gpt-6-astra, Google’ınki gemini-4-argon. İkisi de medium adlı düşünme seçeneğini belgeliyor. Ancak ortak etiket, aynı hesaplama miktarını garanti etmez. OpenAI: https://developers.openai.com/api/docs/models/gpt-6-astra ; Google: https://ai.google.dev/gemini-api/docs/latest-model?hl=en
Üretici aynı sıcaklığı ve hamle başına 32.000 token sınırını kullandığını söylüyor. Token, modelin işlediği küçük metin parçasıdır; sınır, kullanılan gerçek miktar değildir. Daha önemlisi, Google’ın güncel Argon belgesi temperature, top_p ve top_k ayarlarının gönderilse de yok sayıldığını belirtiyor. Dolayısıyla “aynı sıcaklık” ifadesi eşit örnekleme davranışını doğrulamıyor. Bu belge, videonun hangi sağlayıcı isteğiyle çalıştığını da kanıtlamaz; bunun için işlem kayıtları gerekir. Kaynak: yukarıdaki Google belgesinin geçiş önerileri.
Daha pahalı hamle, her işte daha iyi seçim mi?
Üreticinin bildirdiği toplam harcama Astra için 6,35 dolar, Argon için 0,98 dolar. Ortalama süreler yaklaşık 12 ve 6 saniye/hamle. Bu tutarlardan hesaplanan harcama oranı yaklaşık 6,48; fark 5,37 dolar. Bunlar tek deneyin bildirilen ölçümleri, genel fiyat veya hız vaadi değil.
3 Kasım’da okunan resmî standart API tarifelerinde milyon giriş/çıkış tokenı başına Astra 10/50 dolar. Argon’un 30 Kasım 2026 sonuna kadar tanıtım tarifesi 2/10 dolar; belgede 1 Aralık için 4/20 dolar belirtiliyor. Bunlar standart, önbelleksiz metin oranlarıdır; Astra’nın uzun giriş ve hizmet türü koşulları ayrıca uygulanabilir. Tarife kaynakları: https://developers.openai.com/api/docs/pricing ve https://aistudio.google.com/docs/pricing#gemini-4-argon . Video toplamlarını doğrulamak için gerçek token kullanımı, önbellek, sağlayıcı rotası ve deneme tarihindeki ücretler de gerekir.
Üretici ayrıca 100’er hamlenin Argon’da 61’inde, Astra’da 9’unda sıfır düşünme tokenı raporlandığını söylüyor. OpenRouter, düşünme çıktısının görünürlüğünün modele ve sağlayıcıya göre değişebildiğini belgeliyor. Bu sayıları bağımsız doğrulamadık; sıfır kayıt, tek başına “model hiç düşünmedi” sonucunu taşımaz. Kaynak: https://openrouter.ai/docs/guides/best-practices/reasoning-tokens
Milo’nun değerlendirmesi: Kullanacağınız işi ölçün
Bu deneyin yararlı tarafı, doğru görünen açıklamayla doğru eylemi ayırmaya çağırması. Model seçerken kendi görevinizde de ikisini ayrı kontrol edin. Bir araç doğru plan yazıp yanlış işlem seçiyorsa, akıcı anlatım hatayı telafi etmez.
Daha güçlü bir satranç karşılaştırması için önerimiz; aynı konumları renkleri değiştirerek ve tekrarlarla oynatmak, özel 50 yarım hamle formatını standart oyunlardan ayrı raporlamak. Her istekte kesin model ve sağlayıcı kimliği, kabul edilen ayarlar, süre, ücret, geçersiz hamle ve yeniden denemeler saklanmalı. FEN adlı konum kaydı ile PGN adlı tam oyun kaydı, anlatılanı tahtada kontrol etmeyi sağlar. Bu bir öneridir; burada uygulanmış bir test değildir.
Tahtadaki 4–0, bu dört oyunun sonucu olarak kalıyor. Kendi işiniz için karar sorusu daha somut: Gerekli doğruluğa hangi toplam maliyet ve bekleme süresiyle ulaşıyorsunuz?
