> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt
> Use this file to discover all available pages before exploring further.

# LiteLLM

> Dùng LiteLLM với TokenLab như endpoint tương thích OpenAI hoặc một phần gateway của đội bạn

## Tổng quan

LiteLLM và TokenLab thường kết hợp theo hai cách.

* dùng TokenLab làm **endpoint tương thích OpenAI** phía sau LiteLLM
* đặt LiteLLM phía trước TokenLab để xử lý virtual key, chính sách chọn model hoặc observability tập trung

Với TokenLab, đường mặc định gọn nhất là dùng chế độ **custom OpenAI / tương thích OpenAI** của LiteLLM với `api_base = https://api.tokenlab.sh/v1`.

<Note>
  Nếu bạn thực sự cần request shape Claude-native hoặc Gemini-native, hãy ưu tiên các tích hợp native của TokenLab thay vì ép các luồng đó đi qua lớp trừu tượng tương thích OpenAI của LiteLLM.
</Note>

<Note>
  **Loại**: Framework hoặc nền tảng

  **Đường chính**: endpoint tương thích OpenAI

  **Mức hỗ trợ**: Đường được hỗ trợ
</Note>

## Cài đặt

```bash theme={null}
pip install 'litellm[proxy]'
```

## Cấu hình proxy

```yaml theme={null}
model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
```

Khởi động:

```bash theme={null}
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000
```

## Thực tiễn tốt nhất

* Hãy coi TokenLab trước hết là endpoint `custom_openai`
* Chỉ đặt LiteLLM phía trước khi bạn thực sự cần thêm một lớp gateway
* Đừng mặc định kỳ vọng mọi chi tiết provider-native đều có trên đường tương thích OpenAI