Dürüst Karne — Gerçek Akışta Ölçülmüş Sayılar
Dürüst karne, etiketleme başarımının laboratuvar ortamında değil, doğal dağılımlı gerçek bir akış üzerinde ölçülmüş hâlidir.
Ölçüm 17 Temmuz 2026’da, eğitime hiç girmemiş 1110 başlık üzerinde, cihazdaki kalibre edilmiş eşiklerle yapıldı. Değerler dile göre ayrı verilir, çünkü model her dilde farklı davranır. P etiketlediklerimizin ne kadarının doğru olduğunu, R etiketlenmesi gerekenlerin ne kadarını yakaladığımızı gösterir. Zayıf satırlar da tabloda duruyor; kesilmiş ya da yuvarlanmış hiçbir sayı yok.
| Görev | P | R | F1 |
|---|---|---|---|
| Düşük Kalite · TR | 0.99 | 0.61 | 0.75 |
| Düşük Kalite · EN | 0.75 | 0.43 | 0.55 |
| Kritik · TR | 0.90 | 0.52 | 0.66 |
| Kritik · EN | 0.87 | 0.87 | 0.87 |
| Duygu · Negatif · TR | 0.76 | 0.80 | 0.78 |
| Duygu · Negatif · EN | 0.75 | 0.69 | 0.72 |
| Duygu · Nötr · TR | 0.83 | 0.86 | 0.85 |
| Duygu · Nötr · EN | 0.68 | 0.84 | 0.75 |
| Duygu · Pozitif · TR | 0.67 | 0.48 | 0.56 |
| Duygu · Pozitif · EN | 0.86 | 0.46 | 0.60 |
Örnek: Düşük Kalite TR’de kesinlik 0.99, kapsama 0.61. Etiketi bastığında neredeyse hiç yanılmıyor, ama düşük kaliteli içeriklerin ancak bir kısmını yakalıyor.
Derinleş
Eğitime hiç girmemiş bir test kümesinin (held-out) skorları bile fazla iyimserdir: aynı görevde Düşük Kalite TR orada 0.95 çıkar. Sebebi, o havuzun nadir sınıflar madencilikle zenginleştirilmiş bir laboratuvar ortamı olmasıdır. Gerçek bir akıştaki başarımı yalnız yukarıdaki doğal dağılımlı karne yansıtır.
Eşikler F1’i büyütmek için değil, kesinlik tabanının altına düşmeden kapsamayı en yükseğe çıkarmak için seçilir. Taban dile özeldir: düşük kalite TR ve EN için 0.90, kritik EN için 0.90, kritik TR için 0.80. Kapsama değerlerinin düşük görünmesinin sebebi budur ve bu bilinçli bir tercihtir — yanlış etiket basmaktansa kaçırmak yeğlenir.
Pozitif duygu her dilde en zayıf halkadır: hem nadirdir, hem de “şüphedeysen nötr” kuralı onu bilinçli olarak korumasız bırakır.