Rixe, belirlenen kategori promptlarını her motorun gerçek arayüzünde günde bir kez çalıştırır ve dönen cevabı ayrıştırır. Her çalıştırmada markanın adının geçip geçmediğini, geçen markalar arasındaki sırasını, adın etrafındaki cümlenin tonunu ve cevabın gösterdiği tüm kaynakları kaydeder. Tek bir çalıştırmadan skor yayımlanmaz: beş çalıştırmanın altındaki prompt "yetersiz örnek" olarak işaretlenir ve her skor Wilson güven aralığıyla birlikte verilir.
Tek bir çalıştırma çok az şey kanıtlar; ölçüm yaklaşımlarının çoğunun atladığı kısım tam olarak budur. Üretken modeller olasılıksaldır: aynı soruyu iki kez sorun, marka kümesi değişebilir, sıralama neredeyse kesin değişir. Tek bir cevaptan skor yayımlamak, markanızla hiç ilgisi olmayan sebeplerle oynayan bir sayı üretir.
Rixe her promptu bir okuma değil, bir örneklem olarak ele alır. Beş çalıştırmanın altındaki prompt "yetersiz örnek" olarak işaretlenir ve hiç skor göstermez; yayımlanan her skor da Wilson güven aralığı taşır, böylece on iki gözlemden çıkan %41 ile doksan gözlemden çıkan %41 arasındaki fark görünür olur. Bir motor erişilemez olduğunda veri sessizce sıfır sayılmaz, "eksik" olarak işaretlenir — bozuk bir adaptör asla görünürlük düşüşü gibi görünmemelidir.
Ham cevap, ayrıştırılmış metriklerin yanında olduğu gibi saklanır. Bir sonucu denetlenebilir kılan şey budur: bir sayı oynadığında, arkasındaki cevapları açıp değişen cümleleri okuyabilirsiniz, bir grafiğe güvenmek zorunda kalmazsınız.
Asıl alet, prompt setidir
Aşağıdaki her şey sorulara bağlıdır; bu yüzden hiçbir şey ölçülmeden önce seçilir ve sonra dokunulmaz. Anahtar kelime gibi değil, bir alıcının yazacağı gibi yazılırlar — içinde bütçe, ekip büyüklüğü ya da bir kısıt olan bir cümle — çünkü gerçek kullanımda motora verilen budur.
Farkındalık sorularında ağır, karşılaştırma sorularında ince bir set sizi pohpohlar; çünkü geniş sorular uzun listeler üretir. Seti alıcının bulunduğu yere göre kademelemek — öğrenme, karşılaştırma, karar — sağlıklı görünen bir skorun, onunla çelişen bir satış hattının yanında durmasını engelleyen şeydir.
Tekrar ve tek çalışmanın neden hiçbir şey kanıtlamadığı
Üretken modeller olasılıksaldır. Aynı soruyu bir saat içinde iki kez sorun; markalar, sıra ve bazen bilgiler farklılaşabilir. Bu da tek bir ekran görüntüsünü bu alandaki en güvenilmez belge yapar. Yanıt sıkıcıdır ve yöntemin tamamıdır: aynı promptu bir takvimle tekrar tekrar çalıştırın ve oranı raporlayın.
Tekrar, aynı zamanda bir güven aralığını mümkün kılan şeydir ve aralık da bir ekibin gürültüyle hareket etmesini engelleyen şeydir. Motor başına belirli bir çalışma tabanının altında hiçbir skor yayımlanmaz; ekran, trend diye okunacak bir çizgi çizmek yerine örneklemin çok küçük olduğunu söyler.
Her yanıttan neler kaydedilir
Her yanıt bütün olarak saklanır, sonra beş şey için okunur: markanız anıldı mı, sırada nerede göründü, hakkında ne söylendi, motor hangi sayfalara atıf gösterdi ve aynı cümlede hangi rakipler durdu. Ham yanıtı saklamak, geri kalanını aylar sonra denetlenebilir kılan kısımdır.
Ton otomatik sınıflandırılır; yani bazen yanlış olur ve bir ölçüm platformu bunu dipnotta değil, göreceğiniz yerde söylemelidir. Yanlış okunmuş görünen her şey işaretlenebilir ve işaret kanıtı da taşır; böylece düzeltme, belirli bir tarihteki belirli bir yanıtla ilgili olur.
