Captura de dados
Coletamos dados das interfaces públicas e ao vivo de cada plataforma, incluindo ChatGPT, Perplexity, Google AI Overviews, Google AI Mode, Gemini, Grok e Microsoft Copilot. Executamos sessões reais de navegador nas mesmas interfaces que os seus clientes utilizam.
Não usamos as APIs das plataformas. Os resultados das APIs são sanitizados e se baseiam em fontes diferentes das do produto de consumo, portanto não refletem o que um usuário real vê. Capturar a experiência de consumo renderizada é a única forma de medir as respostas que seus clientes realmente recebem.
Também executamos a partir das localizações que importam para você. As plataformas localizam suas respostas, então um resultado capturado a partir da geografia correta é o resultado que um usuário real naquele mercado recebe. Em cada execução, registramos a resposta renderizada completa e cada URL de fonte que ela cita. Essa resposta bruta é a base de cálculo de cada métrica.
Medição por amostragem
Uma pontuação do Temso é uma taxa, não uma resposta isolada. Para um determinado tema, medimos a proporção de respostas, ao longo de execuções repetidas, em que uma determinada marca e fonte aparecem. Essa proporção é a métrica.
Dois tipos de erro a afetam: variação aleatória e viés sistemático.
A variação aleatória ocorre quando a plataforma responde de forma diferente de uma execução para a outra. Ela se equilibra à medida que a amostra cresce. A margem de erro cai aproximadamente com a raiz quadrada do número de execuções, então uma amostra maior produz um número mais preciso e estável.
O viés sistemático é diferente. Ele não se equilibra, independentemente de quantas execuções você adicione. Nós o eliminamos mantendo as condições de teste constantes: localização, idioma, estado da sessão e cadência fixos. Como as condições nunca mudam, uma variação nos dados reflete uma mudança real na IA ou no seu conteúdo, nunca uma mudança na forma como medimos.
O tamanho da amostra é a principal alavanca
O fator mais importante para a precisão é o tamanho da amostra. Mais execuções significam um intervalo de confiança mais estreito, uma leitura mais estável e menor chance de um resultado distorcido.
O tamanho da amostra também é uma alavanca que você controla. Os planos Enterprise executam seus conjuntos de prompts com maior frequência diária, ajustada à precisão que o seu caso de uso exige. Quanto mais sensível for a decisão que depende dos dados, com mais frequência fazemos a amostragem.
Modelando como usuários reais perguntam
As plataformas de IA não respondem ao prompt bruto. Elas decompõem cada consulta em múltiplas subconsultas (fan-out), recuperam informações com base nelas e sintetizam o resultado. Formulações semanticamente equivalentes produzem conjuntos de subconsultas sobrepostos, então convergem para as mesmas fontes recuperadas e, substancialmente, para a mesma resposta. Medir todas as formulações possíveis é desnecessário.
A variável que de fato altera a resposta é o contexto de quem pergunta: a oferta, a persona e o caso de uso por trás da pergunta. O Temso fornece um esquema para codificar essas dimensões na sua biblioteca de prompts, de modo que o conjunto represente sua demanda real, e não perguntas genéricas.
Validamos que o conjunto é representativo com base em sinais independentes: volumes de busca por palavras-chave para ponderar os prompts pela demanda e seus próprios dados primários por meio de integrações como o Google Search Console.
Verificando os dados
Os números são observados, não estimados. Cada métrica remonta a uma resposta capturada específica e às URLs de fonte exatas que a geraram. Se uma pontuação muda, você pode aprofundar na resposta que causou a mudança. Execute novamente e confira.
Além disso, duas verificações cruzadas independentes permitem confirmar o sinal com seus próprios dados.
O Temso correlaciona essa atividade de crawler com as tendências de citações, para que você possa confirmar que o aumento de citações está alinhado com o comportamento real do crawler no seu site. O recurso já está integrado e só precisa ser ativado na sua conta.
Comparar os padrões de consultas e impressões no Search Console com os padrões de citações no Temso fornece uma segunda fonte de dados independente. Quando instrumentos independentes se movem juntos, a medição está refletindo a realidade, não um artefato da forma como foi capturada.
O que os dados são e o que não são
As plataformas não são estacionárias. Os modelos são atualizados, executam testes no lado do servidor e mudam de comportamento ao longo do tempo. Medimos isso também. Uma variação que atinge todas as marcas ao mesmo tempo sinaliza uma mudança na plataforma. Uma variação isolada à sua marca sinaliza uma mudança no seu conteúdo ou na sua visibilidade.
As pontuações são melhor lidas como tendências ao longo do tempo, não como leituras diárias exatas. E os dados medem visibilidade, não audiência: mostram o que aparece nas respostas de IA, não quantas pessoas o viram.
Se sua equipe quiser validar a metodologia com seus próprios dados, nossa equipe terá prazer em explicá-la diretamente.
