Ana içeriğe atla

​
Genel Bakış

LiteLLM ve TokenLab genelde iki şekilde birlikte kullanılır.
  • TokenLab’yı LiteLLM arkasında OpenAI uyumlu endpoint olarak kullanmak
  • sanal anahtarlar, model seçim politikası veya merkezi gözlemlenebilirlik için LiteLLM’yi TokenLab’nın önüne koymak
TokenLab için en temiz varsayılan yol, LiteLLM’nin custom OpenAI / OpenAI uyumlu modunu kullanıp api_base = https://api.tokenlab.sh/v1 ayarlamaktır.
Açıkça Claude-native veya Gemini-native request shape ihtiyacınız varsa, bu akışları LiteLLM’nin OpenAI uyumlu soyutlamasına zorlamak yerine TokenLab’nın native entegrasyonlarını tercih edin.
Tür: Framework veya platformBirincil yol: OpenAI uyumlu endpointDestek seviyesi: Desteklenen yol

​
Kurulum

pip install 'litellm[proxy]'

​
Proxy yapılandırması

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Başlatma: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
En iyi uygulamalar

  • TokenLab’yı önce custom_openai endpoint olarak ele alın
  • LiteLLM’yi yalnızca gerçekten ek bir gateway katmanına ihtiyaç duyuyorsanız öne koyun
  • OpenAI uyumlu yol üzerinde her sağlayıcıya özgü ayrıntının otomatik olarak çalışacağını varsaymayın