Verificação diária: o modelo que responde é o modelo anunciado
Cada modelo recebe o mesmo prompt de teste uma vez por dia, e a resposta é comparada com os resultados anteriores. Um relay que troca o modelo por trás de um id aparece como alterado, e o resultado é público, sem API key.
01Como funciona a verificação diária
Cada modelo do catálogo recebe o mesmo prompt canary uma vez por dia. A resposta é comparada com as respostas dos testes anteriores, e cada modelo recebe um status com o horário do teste. O resultado atual por modelo está na página proof (em inglês).
Os mesmos dados estão disponíveis como JSON público em https://api.relayswitch.io/v1/proof: sem API key, acessível de qualquer origem e mantido em cache por cinco minutos. Os ids de modelo testados são os mesmos da lista de modelos.
02O que significam os três status
Cada modelo recebe um dos três status abaixo. Passar na verificação significa que a resposta daquele id hoje é igual à de antes e que a rota respondeu. O que fica descartado é a troca de modelo e a rota fora do ar; para o seu caso de uso, rode também os seus próprios prompts.
| Estável | O modelo respondeu ao prompt canary como nos testes anteriores. |
| Alterado | A resposta mudou em relação aos testes anteriores: quem atende aquele id já não é quem atendia antes. |
| Inacessível | Nenhuma rota do modelo respondeu no último teste; o status anterior é só histórico, não o estado atual. |
03Recibo assinado para cada requisição
A verificação diária responde à pergunta sobre o modelo; o recibo responde à pergunta sobre uma requisição. Envie uma requisição pequena, pegue o id da requisição no header da resposta e peça o recibo em GET https://api.relayswitch.io/v1/requests/:id/receipt. O recibo tem assinatura Ed25519 e registra o modelo, os tokens cobrados e o custo, então pode ser verificado offline com a chave pública e não pode ser alterado depois.
A página de verificação de recibos (em inglês) confere a assinatura digital sem exigir conta. Outros exemplos de requisição estão na página Claude API.
curl -i https://api.relayswitch.io/v1/messages \ -H "Authorization: Bearer sk-relay-..." \ -H "anthropic-version: 2023-06-01" \ -H "content-type: application/json" \ -d '{"model": "claude-fable-5.1", "max_tokens": 16, "messages": [{"role": "user", "content": "Reply with ok"}]}'04Como testar qualquer relay: comece com uma recarga pequena
Antes de confiar em qualquer relay, recarregue o menor valor possível e rode os sete testes da seção seguinte. O objetivo é ter provas antes de confiar: se passar, acrescente saldo; se não, o prejuízo é limitado. Comece pedindo a lista de ids de modelo que a sua chave pode chamar, porque cada teste precisa do id exato.
curl https://api.relayswitch.io/v1/models \ -H "Authorization: Bearer sk-relay-..."05Sete testes que você mesmo pode rodar
Os três primeiros testes ficam prontos em meia hora; os outros quatro precisam rodar por alguns dias.
| Declaração de identidade | Pergunte ao modelo qual modelo ele é e quem o desenvolveu. Isso só descarta o disfarce mais grosseiro, porque uma frase de system prompt faz qualquer modelo se dizer GPT ou Claude. Uma resposta certa não prova nada; uma resposta errada ou inconsistente é que é o sinal. |
| Data de corte do conhecimento | Pergunte sobre alguns eventos posteriores à data de corte dos dados de treino do modelo e sobre alguns anteriores a ela. O modelo original diz que não sabe dos posteriores; um modelo antigo disfarçado erra também eventos de pouco antes do corte. Anote a data divulgada pelo desenvolvedor e pergunte sobre três eventos de cada lado. |
| Palavra secreta em contexto longo | Envie um texto longo e sem relação com o assunto, insira uma palavra secreta no meio e depois pergunte qual é. O modelo anunciado a encontra com exatidão enquanto ela estiver dentro da janela de contexto; um modelo de janela pequena ou uma rota que corta o contexto falha ou inventa. Escreva o texto você mesmo. |
| Canary de aritmética ou de código | Uma multiplicação de muitos dígitos com resposta única, ou um código que exige uma saída exata. Os modelos de ponta acertam de forma consistente; depois de um rebaixamento para um modelo pequeno, a taxa de erro sobe de forma clara. Pergunte cinco vezes e anote acertos e erros. |
| Comparação da contagem de tokens | Conte a sua entrada com o tokenizer do desenvolvedor e compare com prompt_tokens em usage na resposta; faça o mesmo com a saída e completion_tokens. Uma diferença grande indica que a cobrança não segue o modelo anunciado, ou que a requisição foi reescrita. |
| Consistência ao longo de vários dias | Transforme os testes acima em um script, rode no mesmo horário todos os dias e guarde as respostas. No dia em que a rota é trocada, as respostas mudam como um todo. Passar uma vez não significa passar sempre. |
| Conferência do recibo | Peça o recibo por requisição com id do modelo, tokens cobrados, custo e assinatura digital. Um recibo assim pode ser verificado offline com a chave pública. Em um relay sem recibo, você só conta com os seus próprios registros. |
06Uma pergunta canary, e o que escapa às ferramentas de detecção
Defina temperature como 0 e envie uma única frase: calcule 48213 × 7391 e escreva só o número, depois diga em uma frase até que mês e ano vão os seus dados de treino. A única resposta certa é 356342283, e o mês de corte é comparado com a data divulgada pelo desenvolvedor. Um modelo substituto erra em um desses dois pontos: a multiplicação sai errada, o que é comum em modelos pequenos e versões quantizadas, ou o mês de corte informado não é o do modelo anunciado.
As ferramentas de detecção de relay em circulação trabalham em três camadas: conferência dos campos de protocolo na resposta, impressão digital de estilo a partir de algumas rodadas de prompts, e curva de capacidade com questões cada vez mais difíceis. Duas coisas passam pelas três. A primeira é o multiplicador de preço: a requisição é repassada sem alteração ao modelo original e depois cobrada mais caro, então as conferências de protocolo e de estilo passam todas. Isso só aparece quando os tokens cobrados no recibo são multiplicados pelo preço da página do modelo e comparados com o saldo debitado. A segunda é a versão quantizada: uma versão de baixa precisão do mesmo modelo pode acertar uma questão, mas a curva de capacidade cai, então o mesmo conjunto de questões precisa rodar por vários dias. A cobrança daqui está explicada na página de preços.
Perguntas frequentes
- O modelo diz que é GPT ou Claude; dá para confiar?
- Não como única base. Uma frase de system prompt faz qualquer modelo dizer qualquer nome. Veja se ele responde corretamente sobre eventos posteriores à data de corte do conhecimento, se encontra a palavra secreta em um texto longo e se calcula certo.
- Como é feita a verificação diária?
- Cada modelo do catálogo recebe o mesmo prompt de teste uma vez por dia, e a resposta é comparada com os testes anteriores. Há três status: estável, alterado e inacessível. O resultado é um JSON público em https://api.relayswitch.io/v1/proof, sem API key.
- Como verificar um recibo?
- GET https://api.relayswitch.io/v1/requests/:id/receipt devolve um recibo com assinatura Ed25519 que registra o modelo, os tokens cobrados e o custo. A assinatura digital é conferida com a chave pública e não exige conta.
- Passar na verificação significa que o modelo é com certeza original?
- A verificação mostra que a resposta daquele id hoje é igual à de antes e que a rota respondeu. O que fica descartado é a troca de modelo e a rota fora do ar. Para o seu caso de uso, rode de novo com os seus próprios prompts.
- Como saber se um modelo foi rebaixado sem aviso?
- Rebaixamento sem aviso é quando o mesmo id passa a ser atendido por um modelo mais fraco ou por uma versão quantizada. Envie uma vez por dia a mesma questão de resposta única, com temperature 0: se a resposta passar de certa para errada, ou se o mês de corte do conhecimento mudar, o modelo foi trocado. Depois olhe o recibo: id de modelo igual e resposta diferente significa que o que mudou foi o modelo, não o seu prompt. A verificação diária daqui marca essa situação como alterado.
- Por que começar os testes com uma recarga pequena?
- Porque o objetivo dos testes é ter provas antes de confiar. A recarga mínima aqui é de $10, suficiente para rodar os sete testes várias vezes. Se passar, acrescente saldo; se não, o prejuízo é limitado. A recarga não é reembolsável.
Teste primeiro, confie depois
Recarregue $10 e rode os sete testes. Cada modelo é verificado uma vez por dia, de forma pública, e cada requisição tem um recibo assinado.