Passer au contenu principal

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Présentation

TokenLab gère automatiquement la mise en cache pour optimiser les performances et réduire les coûts. Bien qu’il n’existe pas de point de terminaison public pour vider les entrées du cache, vous avez un contrôle total sur le comportement de mise en cache via des contrôles au niveau de la requête. Cette page est un guide de cache côté requête. Pour les pages de référence API strictes, consultez :

​
Contourner le cache

Pour obtenir des réponses fraîches sans utiliser le cache, utilisez le paramètre cache_control dans votre requête : 
curl -X POST "https://api.tokenlab.sh/v1/chat/completions" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user", "content": "Hello!"}],
    "cache_control": {"type": "no_cache"}
  }'

​
Options de contrôle du cache

TypeEffet
no_cacheIgnorer la recherche et l’écriture dans le cache ; toujours obtenir une réponse fraîche
no_storeNe pas stocker cette réponse dans le cache
response_onlyUtiliser uniquement le cache de correspondance exacte (ignorer le sémantique)
semantic_onlyUtiliser uniquement le cache sémantique (ignorer la correspondance exacte)

​
Retours sur le cache

Si vous recevez une réponse mise en cache incorrecte, vous pouvez la signaler : Utilisez l’identifiant de request/cache entry issu d’un cache hit dans votre propre organisation ; les identifiants arbitraires sont rejetés. 
curl -X POST "https://api.tokenlab.sh/v1/cache/feedback" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "cache_entry_id": "req_1234567890",
    "feedback_type": "wrong_answer",
    "description": "Response was outdated"
  }'
Lorsqu’une entrée de cache reçoit suffisamment de retours négatifs, elle est automatiquement invalidée.

​
Cas d’utilisation

Pendant le développement, utilisez cache_control: {"type": "no_cache"} pour vous assurer d’obtenir des réponses API fraîches.
Pour les données en temps réel comme les cours de la bourse ou la météo, utilisez toujours no_cache pour obtenir des informations à jour.
Lors du débogage de réponses inattendues, utilisez no_cache pour exclure les résultats mis en cache.
Pour plus de détails sur la mise en cache, consultez le Guide de mise en cache.