Rixe ejecuta un conjunto definido de prompts de categoría en la interfaz real de cada motor una vez al día y analiza la respuesta obtenida. En cada ejecución registra si la marca fue nombrada, su puesto entre las marcas citadas, el tono de la frase que rodea al nombre y todas las fuentes que citó la respuesta. Ninguna puntuación se publica a partir de una sola ejecución: por debajo de cinco, el prompt se marca como muestra insuficiente, y cada puntuación se entrega con un intervalo de confianza de Wilson.
Una sola ejecución prueba muy poco, y esa es justo la parte que se saltan casi todos los enfoques de medición. Los modelos generativos son probabilísticos: haz la misma pregunta dos veces y el conjunto de marcas puede cambiar; el orden casi con seguridad cambiará. Publicar una puntuación a partir de una única respuesta produce una cifra que se mueve por razones que nada tienen que ver con tu marca.
Rixe trata cada prompt como una muestra, no como una lectura. Por debajo de cinco ejecuciones el prompt se marca como muestra insuficiente y no muestra puntuación alguna; y toda puntuación publicada lleva un intervalo de confianza de Wilson, de modo que un 41 % construido con doce observaciones es visiblemente menos fiable que un 41 % construido con noventa. Cuando un motor no está disponible, el dato se marca como faltante en lugar de contarse en silencio como cero: un adaptador averiado nunca debe parecerse a una caída de visibilidad.
La respuesta en bruto se guarda literal junto a las métricas analizadas. Eso es lo que hace auditable un resultado: cuando una cifra se mueve, puedes abrir las respuestas que hay detrás y leer las frases que cambiaron, en vez de fiarte de un gráfico.
El conjunto de prompts es el instrumento
Todo lo que viene después depende de las preguntas, así que se eligen antes de medir nada y luego no se tocan. Se escriben como las teclearía un comprador —una frase con un presupuesto, un tamaño de equipo o una restricción— y no como palabras clave, porque eso es lo que recibe el motor en uso real.
Un conjunto cargado de preguntas de descubrimiento y flaco en preguntas de comparación te halagará, porque las preguntas amplias producen listas largas. Escalonar el conjunto por dónde está el comprador —aprender, comparar, decidir— es lo que evita que una puntuación sana conviva con un pipeline que la contradice.
Repetición, y por qué una ejecución no prueba nada
Los modelos generativos son probabilísticos. Haz la misma pregunta dos veces en una hora y las marcas, el orden y a veces los datos pueden cambiar, lo que convierte una captura de pantalla en el artefacto menos fiable del campo. La respuesta es aburrida y es todo el método: ejecutar el mismo prompt repetidamente, con calendario, y publicar la tasa.
La repetición también es lo que hace posible un intervalo de confianza, y el intervalo es lo que impide que un equipo actúe sobre ruido. Por debajo de un mínimo de ejecuciones por motor no se publica ninguna puntuación: la pantalla dice que la muestra es demasiado pequeña en vez de dibujar una línea que se leería como tendencia.
Qué se registra de cada respuesta
Cada respuesta se guarda entera y luego se lee buscando cinco cosas: si tu marca fue nombrada, en qué lugar del orden apareció, qué se dijo de ella, qué páginas citó el motor y qué competidores estaban en la misma frase. Guardar la respuesta en bruto es lo que hace auditable el resto meses después.
El tono se clasifica automáticamente, lo que significa que a veces se equivoca, y una plataforma de medición debería decirlo donde puedas verlo y no en una nota al pie. Todo lo que parezca mal leído se puede marcar, y la marca lleva la evidencia consigo, así que la corrección va sobre una respuesta concreta en una fecha concreta.
