メインコンテンツへスキップ

​
概要

LiteLLM と TokenLab は、主に 2 つの形で組み合わせられます。
  • TokenLab を LiteLLM の背後にある OpenAI 互換エンドポイント として使う
  • LiteLLM を TokenLab の前段に置き、virtual key、モデル選択ポリシー、集中 observability を担わせる
TokenLab では、LiteLLM の custom OpenAI / OpenAI 互換 パスを使い、api_base を https://api.tokenlab.sh/v1 に向けるのが最も扱いやすい標準構成です。
Claude-native や Gemini-native の request shape が必要な場合は、LiteLLM の OpenAI 互換 抽象に押し込むのではなく、TokenLab 側の native integration を優先してください。
種類: フレームワーク / プラットフォーム主要パス: OpenAI 互換エンドポイントサポートレベル: サポート済みパス

​
インストール

pip install 'litellm[proxy]'

​
Proxy 設定

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
起動: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
ベストプラクティス

  • TokenLab はまず custom_openai エンドポイントとして扱う
  • 追加の gateway 層が本当に必要なときだけ LiteLLM を前段に置く
  • プロバイダー固有の細部まで OpenAI 互換 経路で過度に期待しない