LiteLLM - TokenLab

Visão geral

LiteLLM e TokenLab normalmente se combinam de duas formas.

usar TokenLab como endpoint compatível com OpenAI atrás do LiteLLM
colocar o LiteLLM na frente do TokenLab para lidar com chaves virtuais, política de seleção de modelos ou observabilidade centralizada

Para o TokenLab, o caminho padrão mais limpo é usar o modo OpenAI personalizado / compatível com OpenAI do LiteLLM com api_base = https://api.tokenlab.sh/v1.

Se você precisa explicitamente de formatos de requisição nativos do Claude ou do Gemini, prefira as integrações nativas do TokenLab em vez de forçar esses fluxos pela abstração compatível com OpenAI do LiteLLM.

Tipo: Framework ou plataformaCaminho principal: endpoint compatível com OpenAINível de suporte: Caminho compatível

Instalação

pip install 'litellm[proxy]'

Configuração do proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Inicialização:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Boas práticas

Trate o TokenLab primeiro como amontante custom_openai
Coloque o LiteLLM na frente apenas quando realmente precisar de uma camada extra de passagem
Não presuma automaticamente todos os detalhes nativos do fornecedor em uma rota compatível com OpenAI