Langsung ke konten utama

​
Ikhtisar

LiteLLM dan TokenLab biasanya dipakai bersama dengan dua cara.
  • memakai TokenLab sebagai endpoint kompatibel OpenAI di belakang LiteLLM
  • menempatkan LiteLLM di depan TokenLab untuk menangani virtual key, kebijakan pemilihan model, atau observability terpusat
Untuk TokenLab, jalur default yang paling bersih adalah memakai mode custom OpenAI / kompatibel OpenAI milik LiteLLM dengan api_base = https://api.tokenlab.sh/v1.
Jika Anda benar-benar membutuhkan request shape Claude-native atau Gemini-native, lebih baik gunakan integrasi native TokenLab daripada memaksa alur tersebut melewati abstraksi kompatibel OpenAI milik LiteLLM.
Jenis: Framework atau platformJalur utama: endpoint kompatibel OpenAITingkat dukungan: Jalur didukung

​
Instalasi

pip install 'litellm[proxy]'

​
Konfigurasi proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Menjalankan proxy: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Praktik terbaik

  • Perlakukan TokenLab terlebih dahulu sebagai endpoint custom_openai
  • Tempatkan LiteLLM di depan hanya jika Anda benar-benar membutuhkan lapisan gateway tambahan
  • Jangan menganggap semua detail native milik penyedia otomatis tersedia di jalur kompatibel OpenAI