Parmak İzi ve Jaccard Karşılaştırması
MagPunk her başlığı bir kelime öbeği kümesine indirger ve bu kümeleri Jaccard oranıyla karşılaştırarak aynı olayı anlatan içerikleri bulur.
Başlık önce sadeleştirilir: küçük harfe çevrilir, kesme işaretleri ve ekler silinir, noktalama atılır (Türkçe harfler korunur), tek başına duran sayılar ve üç harften kısa kelimeler elenir. Kalan kelimelerin kökü alınır; stopword’ler ve dört harften kısa kökler ayıklanır. Geriye kalanlardan bir, iki ve üç kelimelik öbekler çıkarılır. Bu öbek kümesi başlığın parmak izidir.
Örnek: Jaccard oranı %50 ve üstündeyse iki içerik referans, %30–49 arasındaysa benzer, %30’un altındaysa ilişkisiz sayılır.
Derinleş
Karşılaştırma dört zorunlu koşul sağlanmadan yapılmaz: iki içeriğin dili aynı, kaynağı farklı, bağlantısı farklı olmalı ve aralarındaki yaş farkı 24 saatten az olmalıdır. Bu koşullar aynı kaynağın kendi içeriğini tekrarını ve günler arası rastlantısal eşleşmeleri havuzun dışında tutar.
Her başlığı her başlıkla karşılaştırmak yerine ters indeks kullanılır: yalnız en az bir ortak öbek taşıyan çiftler aday olur. Maliyet O(N²) yerine yaklaşık O(N·k) düzeyine iner.
İki eşik de Ayarlar’dan değiştirilebilir. Tek kısıt şudur: referans eşiği benzer eşiğinin altına indirilemez — indirilebilseydi “benzer” aralığı kapanır, iki etiket birbirinin aynısı olurdu.
Referans etiketi bir intihal suçlaması değildir. Ölçülen şey iki başlığın kelime örtüşmesidir; aynı ajans bültenini kullanan iki yayın da yüksek oran alır. Etiket, bir olayın kaç kaynakta ve hangi sırayla göründüğünü görmenizi sağlar; kaynak hakkında hüküm vermez.