LiteLLM - TokenLab

Vue d’ensemble

LiteLLM et TokenLab se combinent généralement de deux façons.

utiliser TokenLab comme endpoint compatible OpenAI derrière LiteLLM
placer LiteLLM devant TokenLab pour gérer des clés virtuelles, une politique de sélection de modèle ou une observabilité centralisée

Pour TokenLab, le chemin par défaut le plus propre consiste à utiliser le mode OpenAI personnalisé / compatible OpenAI de LiteLLM avec api_base = https://api.tokenlab.sh/v1.

Si vous avez explicitement besoin de formes de requête natives Claude ou Gemini, privilégiez les intégrations natives de TokenLab au lieu de forcer ces flux à passer par l’abstraction compatible OpenAI de LiteLLM.

Installation

pip install 'litellm[proxy]'

Configuration du proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Démarrage :

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Bonnes pratiques

Traitez d’abord TokenLab comme un amont custom_openai
Placez LiteLLM devant uniquement si vous avez réellement besoin d’une couche de passerelle supplémentaire
N’attendez pas automatiquement tous les détails propres au fournisseur sur un chemin compatible OpenAI