Veri & Şeffaflık

Düşük olması tercih edildi. MagPunk "yanlış etiket basmaktansa kaçırmayı yeğler" ilkesiyle ayarlanmıştır: karar eşikleri F1'i en büyük yapacak yere değil, precision belirli bir tabanın altına düşmeyecek şekilde ve o kısıt altında recall en yüksek olacak yere kalibre edilir.

Taban değerleri şunlardır: kritik için TR 0,80 · EN 0,90, düşük kalite için TR 0,90 · EN 0,90. Yani tablodaki düşük R bir başarısızlık değil, ödenen bilinçli bedeldir. Bir içeriği hatalı biçimde "kritik" göstermek, kritik bir içeriği kaçırmaktan daha çok zarar verir.

Gösterebilirdi — bu yüzden orada ölçmüyoruz. Modelin eğitim havuzu madencilikle zenginleştirilmiştir: azınlık sınıfları doğal orandan çok daha sık bulunur. Gerçek bir akışta kritik içerik oranı yaklaşık %6'dır; eğitim havuzunda İngilizce tarafta bu oran %16,7'ye çıkar, yani gerçeğin yaklaşık 2,8 katıdır. Taban oran yükseldikçe precision kolaylaşır.

Yukarıdaki karne bu yüzden zenginleştirilmiş havuzda değil, gerçek bir akıştan ayrılmış ve eğitime hiç girmemiş 1110 başlıkta ölçülür. Zenginleştirilmiş havuzdaki sayılar daha güzel görünür; onları vitrine koymayı seçmedik.

Ölçüm kümesi gerçek bir günlük akıştan ayrıldı, 1110 başlık içeriyor ve eğitim havuzlarıyla kesişmiyor — kesişen satırlar dürüst karneden çıkarıldı.

Karar eşikleri bu kümede değil, ondan da ayrı bir doğrulama diliminde kalibre edildi; yani eşikler ölçüldükleri veriye göre ayarlanmadı.

Model yalnızca başlığı okur, içeriğin gövdesine bakmaz. Bu bilinçli bir gizlilik ve hız tercihidir ama aynı zamanda bir bilgi tavanıdır: yanıltıcı bir başlık modeli de yanıltır.

Modelin eğitildiği başlıklar, araştırma amacıyla kamuya açık olarak yayımlanmış haber başlığı veri kümelerinden derlendi. Uygulamanın kendi beslemelerinden veya kullanıcıların okuma verisinden hiçbir şey kullanılmadı — zaten teknik olarak da mümkün değil, çünkü o veri cihazınızdan çıkmıyor.

Bunun karneyi okurken bir sonucu var: eğitim metni araştırma korpuslarından, ölçüm ise gerçek bir günlük akıştan geliyor. İki dağılım birebir aynı değil; model, uygulamanın her gün gördüğünden biraz farklı bir metin dünyasında eğitildi.

Bu veri kümelerinin çoğu yeniden dağıtım izni vermiyor. Eğitim havuzunu indirilebilir olarak yayımlamamamızın sebebi budur.

Yer gerçeği şu an tek bir modelden geliyor. Ölçümde "doğru cevap" olarak kullanılan etiketler bir büyük dil modeli tarafından üretildi; iki insan etiketleyicinin birbiriyle ne kadar uyuştuğu henüz ölçülmedi. Yani bu karne şimdilik "model insana ne kadar uyuyor" sorusunu değil, "model tutarlı bir öğretmene ne kadar uyuyor" sorusunu yanıtlıyor.

Bu, sayıları geçersiz kılmaz ama sınırlarını belirler. Etiket tutarlılığı üzerinde çalışma sürüyor: birkaç yüz başlığın iki bağımsız insan tarafından etiketlenmesi ve aradaki uyumun (Cohen's κ) yayımlanması planlanıyor. Ölçüm tamamlandığında sonucu — çıkan sayı ne olursa olsun — bu sayfaya eklenecek.

İkinci sınır: karne yalnız kritik, düşük kalite ve duygu etiketlerini kapsar. Skor, benzerlik eşiği ve öncelik tespiti gibi kural tabanlı bileşenler bu tabloda ölçülmez.

Etiketler bir sezgiye değil, yazılı bir karar prosedürüne göre veriliyor. Prosedür sıralıdır: bir adımda karar çıkarsa sonrakine geçilmez. Bunun sebebi, önceki turlarda görülen tipik hatadır — başlıktaki tek bir kelimeye takılıp bağlamı kaçırmak.