Saltar para o conteúdo principal

Documentation Index

Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt

Use this file to discover all available pages before exploring further.

​
Visão geral

LiteLLM e TokenLab normalmente se combinam de duas formas.
  • usar TokenLab como fornecedor amontante compatível com OpenAI atrás do LiteLLM
  • colocar o LiteLLM na frente do TokenLab para lidar com chaves virtuais, roteamento extra ou observabilidade centralizada
Para o TokenLab, o caminho padrão mais limpo é usar o modo OpenAI personalizado / compatível com OpenAI do LiteLLM com api_base = https://api.tokenlab.sh/v1.
Se você precisa explicitamente de formatos de requisição nativos do Claude ou do Gemini, prefira as integrações nativas do TokenLab em vez de forçar esses fluxos pela abstração compatível com OpenAI do LiteLLM.
Tipo: Framework ou plataformaCaminho principal: amontante compatível com OpenAINível de suporte: Caminho compatível

​
Instalação

pip install 'litellm[proxy]'

​
Configuração do proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Inicialização: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Boas práticas

  • Trate o TokenLab primeiro como amontante custom_openai
  • Coloque o LiteLLM na frente apenas quando realmente precisar de uma camada extra de passagem
  • Não presuma automaticamente todos os detalhes nativos do fornecedor em uma rota compatível com OpenAI