Geprüft am 2026-11-12

Tägliche Prüfung: Es antwortet das Modell, das dasteht

Jedes Modell erhält einmal täglich denselben Test-Prompt, und die Antwort wird mit den früheren Ergebnissen verglichen. Ein Relay, das hinter einer ID das Modell austauscht, erscheint als geändert, und die Ergebnisse sind öffentlich, ohne API-Key.

01So funktioniert die tägliche Prüfung

Jedes Modell im Katalog bekommt einmal täglich denselben Canary-Prompt. Die Antwort wird mit den Antworten früherer Tests verglichen, dann erhält jedes Modell einen Status samt Testzeitpunkt. Die aktuellen Ergebnisse pro Modell stehen auf der Proof-Seite (auf Englisch).

Dieselben Daten gibt es als öffentliches JSON unter https://api.relayswitch.io/v1/proof: ohne API-Key, von jedem Origin lesbar und fünf Minuten gecacht. Die getesteten Modell-IDs sind dieselben wie in der Modellliste.

02Was die drei Status bedeuten

Jedes Modell erhält einen der drei Status unten. Eine bestandene Prüfung heißt, dass die Antwort dieser ID heute dieselbe ist wie zuvor und die Route antwortet. Ausgeschlossen werden damit ein Modelltausch und eine tote Route; für Ihren eigenen Anwendungsfall sollten Sie weiterhin Ihre eigenen Prompts laufen lassen.

StabilDas Modell beantwortet den Canary-Prompt wie bei den früheren Tests.
GeändertDie Antwort weicht von den früheren Tests ab: Hinter dieser ID antwortet nicht mehr, was früher dort geantwortet hat.
Nicht erreichbarBeim letzten Test hat keine Route dieses Modells geantwortet; der frühere Status ist nur Historie, nicht der aktuelle Zustand.

03Ein signierter Beleg für jeden Request

Die tägliche Prüfung beantwortet die Frage nach dem Modell; der Beleg beantwortet die Frage nach einem einzelnen Request. Senden Sie einen kleinen Request, nehmen Sie die Request-ID aus dem Antwort-Header und fordern Sie den Beleg unter GET https://api.relayswitch.io/v1/requests/:id/receipt an. Der Beleg ist mit Ed25519 signiert und hält Modell, abgerechnete Token und Kosten fest; er lässt sich offline mit dem Public Key verifizieren und nachträglich nicht ändern.

Die Seite zur Beleg-Verifizierung (auf Englisch) prüft die Signatur ohne Konto. Weitere Request-Beispiele stehen auf der Claude-API-Seite.

bash
1curl -i https://api.relayswitch.io/v1/messages \
2 -H "Authorization: Bearer sk-relay-..." \
3 -H "anthropic-version: 2023-06-01" \
4 -H "content-type: application/json" \
5 -d '{"model": "claude-fable-5.1", "max_tokens": 16, "messages": [{"role": "user", "content": "Reply with ok"}]}'

04Jedes Relay testen: mit einer kleinen Aufladung beginnen

Bevor Sie irgendeinem Relay vertrauen, laden Sie so wenig wie möglich auf und führen Sie die sieben Tests im nächsten Abschnitt durch. Das Ziel ist ein Nachweis vor dem Vertrauen: Besteht das Relay, laden Sie nach; wenn nicht, bleibt der Verlust begrenzt. Fragen Sie zuerst die Liste der Modell-IDs ab, die Ihr Key aufrufen kann, denn jeder Test braucht die exakte ID.

bash
1curl https://api.relayswitch.io/v1/models \
2 -H "Authorization: Bearer sk-relay-..."

05Sieben Tests, die Sie selbst durchführen können

Die ersten drei Tests sind in einer halben Stunde erledigt; die übrigen vier müssen über mehrere Tage laufen.

SelbstauskunftFragen Sie das Modell, was es ist und wer es entwickelt hat. Das schließt nur die gröbste Täuschung aus, denn ein Satz im System-Prompt lässt jedes Modell behaupten, GPT oder Claude zu sein. Eine richtige Antwort beweist nichts; erst eine falsche oder widersprüchliche Antwort ist ein Signal.
WissensgrenzeFragen Sie nach einigen Ereignissen nach dem Trainingsstichtag des Modells und nach einigen davor. Das echte Modell sagt bei den späteren, dass es sie nicht kennt; ein älteres Modell, das sich als dieses ausgibt, scheitert auch an Ereignissen kurz vor dem Stichtag. Notieren Sie das Datum, das der Entwickler nennt, und fragen Sie nach drei Ereignissen auf jeder Seite.
Kennwort im langen KontextSenden Sie einen langen Text ohne Bezug zur Frage, verstecken Sie in der Mitte ein Kennwort und fragen Sie danach. Das angegebene Modell findet es exakt, solange es innerhalb seines Kontextfensters liegt; ein Modell mit kleinem Fenster oder eine Route, die den Kontext kürzt, scheitert oder erfindet etwas. Schreiben Sie den Text selbst.
Canary mit Rechnen oder CodeEine Multiplikation mit vielen Stellen und genau einer richtigen Antwort, oder Code, der eine exakte Ausgabe verlangt. Ein Spitzenmodell antwortet durchgehend richtig; nach einem Tausch gegen ein kleines Modell steigt die Fehlerquote deutlich. Fragen Sie fünfmal und notieren Sie richtig und falsch.
Vergleich der Token-ZahlenZählen Sie Ihren Input mit dem Tokenizer des Entwicklers und vergleichen Sie ihn mit prompt_tokens in usage der Antwort; machen Sie dasselbe für den Output mit completion_tokens. Eine große Abweichung bedeutet, dass die Abrechnung nicht dem angegebenen Modell folgt oder der Request umgeschrieben wird.
Konsistenz über mehrere TageMachen Sie aus den Tests oben ein Skript, lassen Sie es täglich zur selben Uhrzeit laufen und speichern Sie die Antworten. An dem Tag, an dem die Route getauscht wird, ändern sich die Antworten insgesamt. Einmal bestanden heißt nicht für immer bestanden.
Prüfung der BelegeFordern Sie pro Request einen Beleg an, der Modell-ID, abgerechnete Token, Kosten und eine Signatur enthält. Ein solcher Beleg lässt sich offline mit dem Public Key verifizieren. Bei einem Relay ohne Belege bleiben Ihnen nur die eigenen Aufzeichnungen.

06Eine Canary-Frage, und was Erkennungstools entgeht

Setzen Sie temperature auf 0 und senden Sie einen Satz: Berechne 48213 × 7391 und schreibe nur die Zahl, dann nenne in einem Satz, bis zu welchem Monat und Jahr deine Trainingsdaten reichen. Die einzig richtige Antwort ist 356342283, und der Monat des Stichtags wird mit dem Datum abgeglichen, das der Entwickler nennt. Ein Ersatzmodell liegt bei einem der beiden Punkte falsch: Die Multiplikation stimmt nicht, was bei kleinen Modellen und quantisierten Versionen üblich ist, oder der genannte Monat gehört nicht zum angegebenen Modell.

Die verbreiteten Tools zur Relay-Erkennung arbeiten auf drei Ebenen: Prüfung der Protokollfelder in der Antwort, ein Stil-Fingerabdruck aus mehreren Prompt-Runden und eine Fähigkeitskurve aus immer schwierigeren Aufgaben. Zwei Dinge entgehen allen dreien. Erstens der Preismultiplikator: Der Request wird unverändert an das echte Modell weitergeleitet und dann teurer abgerechnet, Protokoll- und Stilprüfung werden also alle bestanden. Das fällt nur auf, wenn Sie die abgerechneten Token im Beleg mit dem Preis auf der Modellseite multiplizieren und mit dem abgezogenen Guthaben abgleichen. Zweitens quantisierte Versionen: Eine Version desselben Modells mit geringerer Präzision kann eine einzelne Aufgabe richtig lösen, ihre Fähigkeitskurve fällt aber ab; derselbe Aufgabensatz muss also über mehrere Tage laufen. Wie hier abgerechnet wird, steht auf der Preisseite.

Häufige Fragen

Das Modell sagt, es sei GPT oder Claude. Kann ich dem trauen?
Nicht als einziger Grundlage. Ein Satz im System-Prompt lässt jedes Modell jeden Namen nennen. Achten Sie darauf, ob es Fragen zu Ereignissen nach seiner Wissensgrenze richtig beantwortet, ein Kennwort in einem langen Text findet und richtig rechnet.
Wie läuft die tägliche Prüfung ab?
Jedes Modell im Katalog erhält einmal täglich denselben Test-Prompt, und die Antwort wird mit den früheren Tests verglichen. Es gibt drei Status: stabil, geändert und nicht erreichbar. Die Ergebnisse stehen als öffentliches JSON unter https://api.relayswitch.io/v1/proof, ohne API-Key.
Wie verifiziere ich einen Beleg?
GET https://api.relayswitch.io/v1/requests/:id/receipt liefert einen mit Ed25519 signierten Beleg, der Modell, abgerechnete Token und Kosten festhält. Die Signatur wird mit dem Public Key geprüft, ein Konto ist dafür nicht nötig.
Heißt eine bestandene Prüfung, dass das Modell sicher echt ist?
Die Prüfung zeigt, dass die Antwort dieser ID heute dieselbe ist wie zuvor und die Route antwortet. Ausgeschlossen werden damit ein Modelltausch und eine tote Route. Für Ihren eigenen Anwendungsfall testen Sie zusätzlich mit Ihren eigenen Prompts.
Woran erkenne ich, dass ein Modell stillschweigend herabgestuft wurde?
Eine stille Herabstufung bedeutet, dass dieselbe ID durch ein schwächeres Modell oder eine quantisierte Version ersetzt wird. Senden Sie einmal täglich dieselbe Aufgabe mit genau einer richtigen Antwort bei temperature 0: Wechselt die Antwort von richtig zu falsch oder ändert sich der Monat der Wissensgrenze, wurde das Modell ausgetauscht. Sehen Sie dann in den Beleg: Bleibt die Modell-ID gleich, während sich die Antwort ändert, hat sich das Modell geändert und nicht Ihr Prompt. Die tägliche Prüfung hier markiert diesen Zustand als geändert.
Warum beginnt das Testen mit einer kleinen Aufladung?
Weil das Ziel des Testens ein Nachweis vor dem Vertrauen ist. Die kleinste Aufladung beträgt hier $10 und reicht, um alle sieben Tests mehrmals durchzuführen. Besteht das Relay, laden Sie nach; wenn nicht, bleibt der Verlust begrenzt. Aufladungen werden nicht erstattet.

Erst testen, dann vertrauen

Laden Sie $10 auf und führen Sie die sieben Tests durch. Jedes Modell wird einmal täglich öffentlich geprüft, und jeder Request hat einen signierten Beleg.