Rixe прогоняет заданный набор категорийных промптов через настоящий интерфейс каждого движка раз в сутки и разбирает полученный ответ. Для каждого прогона фиксируется, был ли назван бренд, его позиция среди упомянутых брендов, тональность фразы вокруг названия и все источники, на которые сослался ответ. По одному прогону оценка не публикуется: меньше пяти прогонов — промпт помечается как недостаточная выборка, и каждая оценка выдаётся с доверительным интервалом Уилсона.
Один прогон доказывает очень мало — и именно эту часть пропускает большинство подходов к измерению. Генеративные модели вероятностны: задайте один и тот же вопрос дважды, и набор брендов может измениться, а порядок почти наверняка изменится. Публиковать оценку по одному ответу — значит получить число, которое движется по причинам, никак не связанным с вашим брендом.
Rixe трактует каждый промпт как выборку, а не как показание. Ниже пяти прогонов промпт помечается как недостаточная выборка и не показывает оценки вовсе; а каждая опубликованная оценка несёт доверительный интервал Уилсона, так что 41 %, построенный на двенадцати наблюдениях, заметно менее надёжен, чем 41 % на девяноста. Когда движок недоступен, данные помечаются как отсутствующие, а не считаются молча нулём: сломанный адаптер никогда не должен выглядеть как падение заметности.
Сырой ответ хранится дословно рядом с разобранными метриками. Именно это делает результат проверяемым: когда число сдвинулось, вы открываете стоящие за ним ответы и читаете изменившиеся фразы, а не доверяетесь графику.
Набор промптов и есть прибор
Всё дальнейшее зависит от вопросов, поэтому их выбирают до любых измерений и затем не трогают. Их пишут так, как набрал бы покупатель, — фразой с бюджетом, размером команды или ограничением, — а не ключевыми словами: именно это движок получает в реальном использовании.
Набор, тяжёлый вопросами на узнавание и тонкий сравнительными, будет вам льстить: широкие вопросы дают длинные списки. Разнесение набора по стадиям покупателя — узнаёт, сравнивает, решает — не даёт здоровому на вид баллу оказаться рядом с воронкой, которая с ним не согласна.
Повторы и почему один прогон ничего не доказывает
Генеративные модели вероятностны. Задайте один вопрос дважды за час — бренды, порядок, а иногда и факты могут отличаться, что делает один скриншот самым ненадёжным артефактом в этой области. Ответ скучен и составляет весь метод: гонять один и тот же промпт многократно, по расписанию, и сообщать долю.
Повтор же делает возможным доверительный интервал, а интервал не даёт команде действовать по шуму. Ниже порога прогонов на движок балл не публикуется вовсе: экран говорит, что выборка мала, вместо того чтобы рисовать линию, которую прочтут как тренд.
Что записывается из каждого ответа
Каждый ответ хранится целиком, а затем читается на пять вещей: назвали ли ваш бренд, на каком месте он появился, что о нём сказали, какие страницы процитировал движок и какие конкуренты стояли в той же фразе. Хранение сырого ответа — то, что делает остальное проверяемым спустя месяцы.
Тон классифицируется автоматически, а значит иногда ошибается, и платформа измерений должна говорить об этом там, где вы это видите, а не в сноске. Всё, что выглядит неверно прочитанным, можно отметить, и метка несёт доказательство — так исправление касается конкретного ответа в конкретную дату.
