A Rixe executa um conjunto definido de prompts da categoria na interface real de cada motor, uma vez por dia, e analisa a resposta devolvida. Em cada execução regista se a marca foi nomeada, a sua posição entre as marcas citadas, o tom da frase à volta do nome e todas as fontes citadas pela resposta. Nenhuma pontuação é publicada a partir de uma só execução: abaixo de cinco, o prompt é marcado como amostra insuficiente, e cada pontuação segue com um intervalo de confiança de Wilson.
Uma única execução prova muito pouco, e é precisamente essa a parte que quase todas as abordagens de medição saltam. Os modelos generativos são probabilísticos: faça a mesma pergunta duas vezes e o conjunto de marcas pode mudar; a ordem quase de certeza muda. Publicar uma pontuação a partir de uma só resposta produz um número que oscila por razões que nada têm a ver com a sua marca.
A Rixe trata cada prompt como uma amostra, não como uma leitura. Abaixo de cinco execuções o prompt é marcado como amostra insuficiente e não mostra pontuação nenhuma; e cada pontuação publicada leva um intervalo de confiança de Wilson, pelo que um 41 % construído com doze observações é visivelmente menos seguro do que um 41 % construído com noventa. Quando um motor está indisponível, o dado é assinalado como em falta em vez de ser contado em silêncio como zero — um adaptador avariado nunca pode parecer uma queda de visibilidade.
A resposta em bruto é guardada tal como veio, ao lado das métricas analisadas. É isso que torna um resultado auditável: quando um número se mexe, abre as respostas por detrás dele e lê as frases que mudaram, em vez de confiar num gráfico.
O conjunto de prompts é o instrumento
Tudo o que vem a seguir depende das perguntas, por isso são escolhidas antes de se medir o que quer que seja e depois deixadas em paz. São escritas como um comprador as escreveria — uma frase com um orçamento, um tamanho de equipa ou uma restrição — e não como palavras-chave, porque é isso que o motor recebe em uso real.
Um conjunto pesado em perguntas de descoberta e magro em perguntas de comparação vai lisonjeá-lo, porque perguntas amplas produzem listas longas. Escalonar o conjunto pela etapa do comprador — aprender, comparar, decidir — é o que evita que uma pontuação saudável fique ao lado de um pipeline que a contradiz.
Repetição, e porque uma execução não prova nada
Os modelos generativos são probabilísticos. Faça a mesma pergunta duas vezes numa hora e as marcas, a ordem e por vezes os factos podem diferir, o que faz de uma captura de ecrã o artefacto menos fiável deste campo. A resposta é aborrecida e é todo o método: correr o mesmo prompt repetidamente, com calendário, e reportar a taxa.
A repetição é também o que torna possível um intervalo de confiança, e o intervalo é o que impede uma equipa de agir sobre ruído. Abaixo de um mínimo de execuções por motor não se publica pontuação alguma: o ecrã diz que a amostra é pequena de mais em vez de desenhar uma linha que se leria como tendência.
O que é registado de cada resposta
Cada resposta é guardada inteira e depois lida à procura de cinco coisas: se a sua marca foi nomeada, em que lugar da ordem apareceu, o que se disse dela, que páginas o motor citou e que concorrentes estavam na mesma frase. Guardar a resposta em bruto é o que torna o resto auditável meses depois.
O tom é classificado automaticamente, o que significa que às vezes erra, e uma plataforma de medição deve dizê-lo onde o possa ver e não numa nota de rodapé. Tudo o que pareça mal lido pode ser sinalizado, e a sinalização leva a prova consigo, por isso a correção incide sobre uma resposta concreta numa data concreta.
