Vale construir sua versão de 100 Questions?
Benchmarks de visibilidade de marca com evidências vinculadas, em OpenAI, Claude, Gemini e Grok
Uma CLI pessoal que faz as mesmas perguntas a quatro APIs de modelos e compara as respostas dá para construir em um fim de semana, mas igualar as execuções com busca na web do produto, a normalização de fontes, o tratamento de falhas, as evidências duráveis, a pontuação e os relatórios polidos exige bem mais trabalho.
EN → PTPesquisa traduzida automaticamente do inglês. Prompt original preservado em inglês.
Build me a local AI visibility benchmark for one brand. Requirements:
- Use Node 22, TypeScript, official provider SDKs, SQLite, and a CLI.
- `benchmark --domain example.com --description "..."` creates one immutable run.
- Generate 25 buyer questions from the domain and description, or accept a JSON question file.
- Ask the exact same questions through OpenAI, Anthropic, Gemini, and xAI.
- Use each provider's supported web-search or grounding tool; keys live only in `.env`.
- Limit concurrency per provider, retry transient failures, and preserve failed cells in the report.
- Store prompts, raw answers, citations, timestamps, model ids, and errors in SQLite.
- Detect exact and case-insensitive brand mentions; allow aliases in a config file.
- Extract named competitors with one structured LLM pass after all answers are stored.
- Normalize citation URLs by hostname, canonical URL, and stripped tracking parameters.
- Compute visibility by provider, answer coverage, owned-domain citation rate, and top sources.
- Show missed questions where competitors appear but the target brand does not.
- Render a self-contained static HTML report with filters and expandable raw evidence.
- Export questions, answer metrics, competitors, and citations as CSV files.
- Every aggregate metric must link back to the answer rows used to calculate it.
- Out of scope: accounts, billing, teams, scheduled monitoring, and recommendation generation.
- Include fixture-based tests for mention detection, URL normalization, and metric calculations.
- README: setup, provider-specific grounding caveats, estimated API cost, and exact run commands.O prompt abre preenchido no seu agente. Revise antes de executar.
Como seria construir sua versão?
Gerar perguntas de compradores, passar cada uma por quatro APIs de modelos com busca na web, detectar menções à marca e a concorrentes, coletar citações e gerar um relatório comparativo.
O que você vai precisar
- chaves de API da OpenAI, Anthropic, Google Gemini e xAI
- ferramentas de busca na web ou de grounding específicas de cada provedor
- armazenamento durável das execuções
- normalização de URLs e citações
- geração de relatórios
Pagam por um benchmark repetível e congelado no tempo, com falhas de provedores tratadas, citações normalizadas, cada métrica ligada a uma evidência e um relatório pronto para virar ação.
xorquestração confiável e novas tentativas entre quatro provedores
xcitações normalizadas e métricas vinculadas a evidências
xextração de concorrentes e de perguntas perdidas
xrelatórios e comparações pontuais armazenados
xexportações polidas e recomendações de ação
Prefere uma solução pronta?
ElmoVisibilidade de IA prompt a prompt, com citações e concorrentes nos principais mecanismos; as consultas ainda precisam de credenciais de modelo ou de scraper.Código aberto↗Licença, instalação e limitações em cada alternativa.
Quanto custa 100 Questions?
- Licença de pagamento único
- US$ 9US$ 9
- No cartão, com IOF de 3,5%
- R$ 47,03
Salvo na Minha lista. Você recebe um aviso aqui no site quando o preço mudar.
Você conclui a compra no site de 100 Questions. O Vibe Radar não intermedeia pagamentos.
Vale mais construir ou assinar 100 Questions?
Ajuste os números: horas para construir, valor da sua hora, custos para manter no ar e o preço da assinatura.
Em 24 meses, assinar sai mais barato.
Horas iniciais estimadas a partir da análise (vários dias). Não inclui o valor do que você deixa de ter (suporte, integrações, segurança).
Dá para recriar 100 Questions?
Em parte. O núcleo de 100 Questions dá para construir em um fim de semana com o prompt desta página, mas há lacunas reais: orquestração confiável e novas tentativas entre quatro provedores, citações normalizadas e métricas vinculadas a evidências. Leia a lista acima antes de começar.
Quanto custa 100 Questions?
O preço de 100 Questions é por uso ou varia conforme o plano · A página inicial lista $9/mês; a ser preenchido na revisão de merge..
O que eu perco ao substituir 100 Questions?
Sinceramente: orquestração confiável e novas tentativas entre quatro provedores; citações normalizadas e métricas vinculadas a evidências; extração de concorrentes e de perguntas perdidas; relatórios e comparações pontuais armazenados; exportações polidas e recomendações de ação. Se algum desses pontos é essencial para você, continue pagando.
Existe uma alternativa aberta para 100 Questions?
Sim: Elmo (Visibilidade de IA prompt a prompt, com citações e concorrentes nos principais mecanismos; as consultas ainda precisam de credenciais de modelo ou de scraper.) O prompt é para quando você quer do seu jeito.