Zum Hauptinhalt springen

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Überblick

LiteLLM und TokenLab lassen sich meist auf zwei Arten kombinieren.
  • TokenLab als OpenAI-kompatiblen Upstream hinter LiteLLM verwenden
  • LiteLLM vor TokenLab setzen, um virtuelle Keys, zusätzliches Routing oder zentrale Observability abzubilden
Für TokenLab ist der sauberste Standardpfad die Nutzung des custom OpenAI / OpenAI-kompatiblen-Pfads von LiteLLM mit api_base = https://api.tokenlab.sh/v1.
Wenn Sie explizit Claude-native oder Gemini-native Request-Shapes benötigen, bevorzugen Sie die nativen TokenLab-Integrationen, statt diese Abläufe durch LiteLLMs OpenAI-kompatible Abstraktion zu zwingen.
Typ: Framework oder PlattformPrimärer Pfad: OpenAI-kompatibler UpstreamSupport-Niveau: Unterstützter Pfad

​
Installation

pip install 'litellm[proxy]'

​
Proxy-Konfiguration

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Starten: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Bewährte Praktiken

  • Behandeln Sie TokenLab zunächst als custom_openai-Upstream
  • Setzen Sie LiteLLM nur dann davor, wenn Sie wirklich eine zusätzliche Gateway-Schicht benötigen
  • Erwarten Sie auf dem OpenAI-kompatiblen Pfad nicht automatisch jedes anbieternative Detail