Saltar al contenido principal

​
Resumen general

LiteLLM y TokenLab suelen combinarse de dos maneras.
  • usar TokenLab como endpoint compatible con OpenAI detrás de LiteLLM
  • poner LiteLLM delante de TokenLab para manejar claves virtuales, política de selección de modelos u observabilidad centralizada
Para TokenLab, la ruta por defecto más limpia es usar el modo OpenAI personalizado / compatible con OpenAI de LiteLLM con api_base = https://api.tokenlab.sh/v1.
Si necesitas de forma explícita formatos de solicitud nativos de Claude o Gemini, prioriza las integraciones nativas de TokenLab en lugar de forzar esos flujos a través de la abstracción compatible con OpenAI de LiteLLM.
Tipo: Framework o plataformaRuta principal: endpoint compatible con OpenAINivel de soporte: Ruta compatible

​
Instalación

pip install 'litellm[proxy]'

​
Configuración del proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY
Inicio: 
export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

​
Buenas prácticas

  • Trata TokenLab primero como ascendente custom_openai
  • Coloca LiteLLM delante solo si realmente necesitas una capa adicional de pasarela
  • No des por hecho todos los detalles nativos del proveedor en una ruta compatible con OpenAI