LiteLLM - TokenLab

Überblick

LiteLLM und TokenLab lassen sich meist auf zwei Arten kombinieren.

TokenLab als OpenAI-kompatiblen Endpunkt hinter LiteLLM verwenden
LiteLLM vor TokenLab setzen, um virtuelle Keys, Modellauswahlrichtlinien oder zentrale Observability abzubilden

Für TokenLab ist der sauberste Standardpfad die Nutzung des custom OpenAI / OpenAI-kompatiblen-Pfads von LiteLLM mit api_base = https://api.tokenlab.sh/v1.

Wenn Sie explizit Claude-native oder Gemini-native Request-Shapes benötigen, bevorzugen Sie die nativen TokenLab-Integrationen, statt diese Abläufe durch LiteLLMs OpenAI-kompatible Abstraktion zu zwingen.

Typ: Framework oder PlattformPrimärer Pfad: OpenAI-kompatibler EndpunktSupport-Niveau: Unterstützter Pfad

Installation

pip install 'litellm[proxy]'

Proxy-Konfiguration

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Starten:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Bewährte Praktiken

Behandeln Sie TokenLab zunächst als custom_openai-Upstream
Setzen Sie LiteLLM nur dann davor, wenn Sie wirklich eine zusätzliche Gateway-Schicht benötigen
Erwarten Sie auf dem OpenAI-kompatiblen Pfad nicht automatisch jedes anbieternative Detail