Wählen Sie die Route
Senden Sie keine provider-native integrierten Tools über eine andere Route und erwarten Sie, dass TokenLab sie stillschweigend übersetzt.
JSON-Modus
Für tragbare strukturierte Antworten beginnen Sie mit dem Chat Completions JSON-Modus:text und json_object. json_schema, strict und provider-spezifische Schema-Durchsetzung können für einige upstream-Routen oder Konvertierungspfade existieren, aber sie sind kein allgemeines Versprechen für jede TokenLab-Route und jedes Modell. Überprüfen Sie sie gegen das ausgewählte Modell, bevor Sie sich darauf verlassen.
Analysieren und validieren Sie immer das zurückgegebene JSON auf Ihrem Server. Der JSON-Modus verbessert die Form, ersetzt jedoch nicht die schema-Validierung auf Anwendungsebene.
Tool-Aufrufschleife
TokenLab führt Ihre Funktionen nicht aus. Ihre Anwendung besitzt die Schleife:- Senden Sie Nachrichten plus Tool-Definitionen.
- Lesen Sie die Modellantwort auf
tool_calls,function_call, Anthropictool_useoder Gemini Funktionsaufrufteile. - Führen Sie das Tool in Ihrem eigenen Backend aus.
- Fügen Sie das Tool-Ergebnis im Format hinzu, das von derselben Route benötigt wird.
- Führen Sie das Gespräch fort, bis das Modell eine endgültige Antwort zurückgibt.
Chat Completions Beispiel
Schema-Design
- Halten Sie Schemas klein und explizit. Große verschachtelte Schemas fügen Tokens hinzu und verringern die Zuverlässigkeit.
- Bevorzugen Sie erforderliche Felder für Werte, ohne die Ihr Produkt nicht fortfahren kann.
- Verwenden Sie Enums für geschlossene Mengen, von denen Ihre UI oder Ihr Backend abhängt.
- Fügen Sie Beispiele in die Eingabeaufforderung ein, wenn das Modell Schwierigkeiten mit einer Form hat.
- Behandeln Sie Fehler bei nicht unterstützten Feldern als Vertragsfeedback. Entfernen Sie das Feld oder verwenden Sie die native Route, die es dokumentiert.
Produktions-Checkliste
- Protokollieren Sie Route, Modell, Tool-Namen und bereinigte Schema-Formate in den Logs.
- Validieren Sie Tool-Argumente, bevor Sie Nebenwirkungen ausführen.
- Wenden Sie Ihre eigenen Berechtigungsprüfungen vor der Tool-Ausführung an.
- Machen Sie die Tool-Ausführung idempotent, wenn ein Client-Wiederholungsversuch denselben Tool-Aufruf wiederholen kann.
- Protokollieren Sie keine Geheimnisse, die von Tools in modellsichtbare Nachrichten zurückgegeben werden.