Chuyển đến nội dung chính

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Tổng quan

LiteLLM và TokenLab thường kết hợp theo hai cách.
  • dùng TokenLab làm upstream tương thích OpenAI phía sau LiteLLM
  • đặt LiteLLM phía trước TokenLab để xử lý virtual key, routing bổ sung hoặc observability tập trung
Với TokenLab, đường mặc định gọn nhất là dùng chế độ custom OpenAI / tương thích OpenAI của LiteLLM với api_base = https://api.tokenlab.sh/v1.
Nếu bạn thực sự cần request shape Claude-native hoặc Gemini-native, hãy ưu tiên các tích hợp native của TokenLab thay vì ép các luồng đó đi qua lớp trừu tượng tương thích OpenAI của LiteLLM.
Loại: Framework hoặc nền tảngĐường chính: upstream tương thích OpenAIMức hỗ trợ: Đường được hỗ trợ

​
Cài đặt

pip install 'litellm[proxy]'

​
Cấu hình proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Khởi động: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Thực tiễn tốt nhất

  • Hãy coi TokenLab trước hết là upstream custom_openai
  • Chỉ đặt LiteLLM phía trước khi bạn thực sự cần thêm một lớp gateway
  • Đừng mặc định kỳ vọng mọi chi tiết provider-native đều có trên đường tương thích OpenAI