> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt
> Use this file to discover all available pages before exploring further.

# LiteLLM

> LiteLLM를 TokenLab의 OpenAI 호환 엔드포인트 또는 팀 게이트웨이의 일부로 사용하기

## 개요

LiteLLM와 TokenLab를 함께 쓰는 대표적인 방식은 두 가지입니다.

* TokenLab를 LiteLLM 뒤의 **OpenAI 호환 엔드포인트** 로 사용
* LiteLLM를 TokenLab 앞단에 두고 가상 키, 모델 선택 정책, 중앙 관측 기능을 담당하게 함

TokenLab에서는 LiteLLM의 **custom OpenAI / OpenAI 호환** 경로를 사용하고 `api_base` 를 `https://api.tokenlab.sh/v1` 로 지정하는 구성이 가장 무난한 기본값입니다.

<Note>
  Claude-native 또는 Gemini-native 요청 형태가 꼭 필요하다면, LiteLLM의 OpenAI 호환 추상화에 억지로 맞추기보다 TokenLab의 native 통합 경로를 우선하세요.
</Note>

<Note>
  **유형**: 프레임워크 / 플랫폼

  **주요 경로**: OpenAI 호환 엔드포인트

  **지원 수준**: 지원 경로
</Note>

## 설치

```bash theme={null}
pip install 'litellm[proxy]'
```

## Proxy 설정

```yaml theme={null}
model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
```

실행:

```bash theme={null}
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000
```

## 모범 사례

* TokenLab는 우선 `custom_openai` 상류로 취급하세요
* 추가 게이트웨이 계층이 정말 필요할 때만 LiteLLM를 앞단에 두세요
* OpenAI 호환 경로에서 제공자 고유의 세부 동작까지 과도하게 기대하지 마세요