LiteLLM - TokenLab

Genel Bakış

LiteLLM ve TokenLab genelde iki şekilde birlikte kullanılır.

TokenLab’yı LiteLLM arkasında OpenAI uyumlu endpoint olarak kullanmak
sanal anahtarlar, model seçim politikası veya merkezi gözlemlenebilirlik için LiteLLM’yi TokenLab’nın önüne koymak

TokenLab için en temiz varsayılan yol, LiteLLM’nin custom OpenAI / OpenAI uyumlu modunu kullanıp api_base = https://api.tokenlab.sh/v1 ayarlamaktır.

Açıkça Claude-native veya Gemini-native request shape ihtiyacınız varsa, bu akışları LiteLLM’nin OpenAI uyumlu soyutlamasına zorlamak yerine TokenLab’nın native entegrasyonlarını tercih edin.

Tür: Framework veya platformBirincil yol: OpenAI uyumlu endpointDestek seviyesi: Desteklenen yol

Kurulum

pip install 'litellm[proxy]'

Proxy yapılandırması

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Başlatma:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

En iyi uygulamalar

TokenLab’yı önce custom_openai endpoint olarak ele alın
LiteLLM’yi yalnızca gerçekten ek bir gateway katmanına ihtiyaç duyuyorsanız öne koyun
OpenAI uyumlu yol üzerinde her sağlayıcıya özgü ayrıntının otomatik olarak çalışacağını varsaymayın