Zum Hauptinhalt springen

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Übersicht

TokenLab verwaltet das Caching automatisch, um die Performance zu optimieren und Kosten zu senken. Obwohl es keinen öffentlichen Endpunkt zum Löschen von Cache-Einträgen gibt, haben Sie über Steuerelemente auf Anfrageebene die volle Kontrolle über das Caching-Verhalten. Diese Seite ist ein Leitfaden für request-side cache. Für strikte API-Referenzseiten siehe:

​
Cache umgehen

Um aktuelle Antworten ohne Verwendung des Caches zu erhalten, verwenden Sie den Parameter cache_control in Ihrer Anfrage: 
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}],
    "cache_control": {"type": "no_cache"}
  }'

​
Cache-Steuerungsoptionen

TypEffekt
no_cacheCache-Suche und Speicherung überspringen; immer eine aktuelle Antwort erhalten
no_storeDiese Antwort nicht im Cache speichern
response_onlyNur Exact-Match-Cache verwenden (Semantik überspringen)
semantic_onlyNur semantischen Cache verwenden (Exact-Match überspringen)

​
Cache-Feedback

Wenn Sie eine fehlerhafte zwischengespeicherte Antwort erhalten, können Sie diese melden: Verwenden Sie die Cache-Hit-Request-/Cache-Entry-ID aus Ihrer eigenen Organisation; beliebige IDs werden abgelehnt. 
curl -X POST "https://api.tokenlab.sh/v1/cache/feedback" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "cache_entry_id": "req_1234567890",
    "feedback_type": "wrong_answer",
    "description": "Response was outdated"
  }'
Wenn ein Cache-Eintrag genügend negatives Feedback erhält, wird er automatisch ungültig gemacht.

​
Anwendungsfälle

Verwenden Sie während der Entwicklung cache_control: {"type": "no_cache"}, um sicherzustellen, dass Sie aktuelle API-Antworten erhalten.
Verwenden Sie für Echtzeitdaten wie Aktienkurse oder Wetter immer no_cache, um aktuelle Informationen zu erhalten.
Verwenden Sie bei der Fehlersuche nach unerwarteten Antworten no_cache, um zwischengespeicherte Ergebnisse auszuschließen.
Weitere Details zum Caching finden Sie im Caching-Leitfaden.