Güven Puanı Nedir? Yapay Zeka Tahminlerinde Olasılığı Doğru Okumak

Bir yapay zeka tahminine baktığında her seçimin yanında bir yüzde görürsün: %48, %63, %71… Bu sayı çoğu zaman "tutma ihtimali" diye okunur ve yüksek olan seçim "garanti" sanılır. Oysa güven puanı, doğru okunduğunda çok faydalı; yanlış okunduğunda yanıltıcı bir göstergedir. Bu yazıda puanın ne olduğunu, nasıl hesaplandığını ve nasıl kullanılması gerektiğini anlatıyoruz.

Güven puanı nedir?

Güven puanı, modelin bir seçimi eldeki verilerle ne ölçüde desteklenmiş gördüğünü 1 ile 99 arasında ifade eden değerdir. İki şeyi birlikte yansıtır:

• Olasılık: o sonucun gerçekleşme ihtimali (oranların ima ettiği değer).
• Destek: form, puan durumu, eksikler ve aralarındaki maçlar gibi verilerin bu sonucu ne kadar desteklediği.

Orandan olasılığa: temel hesap

Bir oranın ima ettiği olasılık kabaca 1 ÷ oran ile bulunur:

*Bir marketteki tüm seçeneklerin ham olasılıkları toplandığında %100'ü aşar; aradaki fark bahis marjıdır. Marj düşüldüğünde "gerçekçi" olasılık biraz daha düşük çıkar. Skorova her seçenek için bu marjdan arındırılmış olasılığı hesaplar.

Kalibrasyon: puan neden sınırlandırılır?

Dil modelleri özgüvenli yazmaya eğilimlidir. Denetlenmezse, 34,00 oranlı bir skor tahminine "%65 güven" yazabilir; oysa piyasaya göre o sonucun ihtimali %3 civarındadır. Böyle bir puan kullanıcıyı yanıltır.

Skorova bu yüzden güven puanına bir tavan uygular: bir seçimin puanı en fazla (olasılık × 2) + 15 olabilir. Örneğin:

• Olasılığı %3 olan bir seçim en fazla %21 güven alabilir.
• Olasılığı %30 olan bir seçim en fazla %75 güven alabilir.
• Olasılığı %42 ve üzeri olan seçimlerde tavan %99'dur; puanı verilerin gücü belirler.

Böylece model, verinin desteklediği değerli seçimleri öne çıkarabilir ama düşük ihtimalli bir sürprizi "neredeyse kesin" gibi sunamaz.

Güven puanı ile risk seviyesi aynı şey mi?

Hayır. Güven puanı tek tek seçimlere aittir. Risk seviyesi (düşük / orta / yüksek) ise tahminin bütününe dair bir değerlendirmedir: veri azsa, takımlar dengeliyse ya da maçın koşulları belirsizse risk yükselir. Yüksek riskli bir maçta en güçlü seçimin puanı da ihtiyatla okunmalıdır.

"En güçlü seçim" ne demek?

Her tahminde model seçimlerden birini öne çıkarır. Skorova'nın kamuya açık isabet oranı yalnızca bu en güçlü seçimler üzerinden hesaplanır. Bunun nedeni basit: bir tahmindeki beş seçimden dördü tutup biri tutmadığında "tuttu mu, tutmadı mı" sorusunun net bir cevabı olmalı.

Güven puanını kullanırken yapılan beş hata

1. Yüksek puanı garanti sanmak. %75 güvenli bir seçim, dört maçtan birinde tutmaz.
2. Puanı orandan bağımsız okumak. %70 güven 1,30 oranda sıradan, 2,10 oranda dikkat çekicidir.
3. Puanları kuponda toplamak. Üç adet %70'lik seçimin birlikte tutma ihtimali %34'tür, %70 değil. Ayrıntısı için kupon olasılığı rehberine bak.
4. Risk seviyesini görmezden gelmek. "Yüksek risk" etiketi, verinin sınırlı olduğunu söyler.
5. Gerekçeyi okumamak. Puanın arkasındaki nedenler, puanın kendisinden daha değerlidir.

Değerli seçim: olasılık ile oranın uyuşmadığı yer

Bir seçimin gerçek olasılığı, oranın ima ettiğinden yüksekse o seçim "değerli" sayılır. Örneğin veriler bir sonucun %55 ihtimalle gerçekleşeceğini gösteriyor ama oran 2,10 ise (ima edilen %45), ortada bir değer vardır. Model bu durumları gerekçede belirtir. Konunun ayrıntısı değerli oran rehberinde.

Örneklerle: aynı puan, farklı anlam

Üç ayrı seçimin de güven puanı %60 olsun. Bu üç seçim aynı değerde midir?

Görüldüğü gibi puanın anlamı, oranla yan yana konduğunda ortaya çıkar. İlk satırda %60 bir uyarıdır, son satırda bir fırsat işareti. Bu yüzden Skorova'da her seçimin yanında oran ve ima edilen olasılık birlikte gösterilir.

Bir tahmindeki puan dağılımı ne söyler?

Bir tahmin genellikle 3-5 seçim içerir ve bu seçimlerin puanları birlikte bir resim çizer:

• Puanlar birbirine yakın ve orta düzeyde (%50-60): maç dengeli, model net bir üstünlük görmüyor. Bu tür maçlarda risk seviyesi genellikle "orta" ya da "yüksek" olur.
• Bir seçim belirgin biçimde önde (%75, diğerleri %50 civarı): model o seçimi güçlü biçimde öne çıkarıyor; "en güçlü seçim" çoğunlukla budur.
• Tüm puanlar düşük (%40 altı): seçimler yüksek oranlı; model sürpriz ihtimallerini değerlendiriyor. Buradaki puanlar tavanla sınırlıdır, düşük olmaları doğaldır.

Canlı maçta güven puanı

Canlı tahminlerde puan, maç önüne göre daha hızlı eskir. 70. dakikada 1-0 öndeki ev sahibi için "maç sonucu 1" seçimi yüksek güven alabilir; ama beş dakika sonra gelen bir kırmızı kart ya da gol tabloyu tümüyle değiştirir. Bu nedenle canlı tahminler skor ve zaman dilimine bağlıdır: skor değiştiğinde ya da belirli bir süre geçtiğinde eski tahmin geçersiz sayılır ve yenisi üretilir. Canlı bir tahmine bakarken, hangi dakikada ve hangi skorla üretildiğine dikkat et; Skorova bunu tahminin üzerinde belirtir.

Puan, tutarı belirlemez

Yaygın bir yanılgı, yüksek güven puanını "bu maça daha çok yatırılabilir" diye okumaktır. Güven puanı bir olasılık özetidir; bütçe kararı değildir. %80 güvenli bir seçim de beş maçtan birinde tutmaz ve o bir maç, tutarı büyüttüğün maç olabilir. Sorumlu yaklaşım, tutarı güven puanına göre değil, önceden belirlediğin bütçeye göre sabit tutmaktır. Konunun ayrıntısı bütçe ve risk yönetimi yazısında.

Kendi kalibrasyonunu ölç

Güven puanlarının işe yarayıp yaramadığını anlamanın yolu basittir: sonuçları puan aralıklarına göre grupla. İyi kalibre edilmiş bir sistemde %60-70 güvenli seçimlerin kabaca üçte ikisi, %40-50 güvenli seçimlerin yarıya yakını tutmalıdır. Panelindeki Sonuçlarım sayfası açtığın tahminlerin sonuçlarını tutar; yeterli sayıda tahmin biriktiğinde bu karşılaştırmayı kendin yapabilirsin. Örnek küçükken sonuç çıkarmamaya dikkat et: yirmi tahmin kalibrasyon hakkında güvenilir bir şey söylemez.

Özet

Güven puanı bir kesinlik beyanı değil, verilerle desteklenmiş bir olasılık özetidir. Onu oranla birlikte oku, risk seviyesine bak ve gerekçeyi atlama. Güncel tahminlerde puanların nasıl göründüğünü bugünkü maç tahminleri sayfasından inceleyebilirsin.