Passer au contenu principal

​
Vue d’ensemble

LiteLLM et TokenLab se combinent généralement de deux façons.
  • utiliser TokenLab comme endpoint compatible OpenAI derrière LiteLLM
  • placer LiteLLM devant TokenLab pour gérer des clés virtuelles, une politique de sélection de modèle ou une observabilité centralisée
Pour TokenLab, le chemin par défaut le plus propre consiste à utiliser le mode OpenAI personnalisé / compatible OpenAI de LiteLLM avec api_base = https://api.tokenlab.sh/v1.
Si vous avez explicitement besoin de formes de requête natives Claude ou Gemini, privilégiez les intégrations natives de TokenLab au lieu de forcer ces flux à passer par l’abstraction compatible OpenAI de LiteLLM.

​
Installation

pip install 'litellm[proxy]'

​
Configuration du proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Démarrage : 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Bonnes pratiques

  • Traitez d’abord TokenLab comme un amont custom_openai
  • Placez LiteLLM devant uniquement si vous avez réellement besoin d’une couche de passerelle supplémentaire
  • N’attendez pas automatiquement tous les détails propres au fournisseur sur un chemin compatible OpenAI