LiteLLM - TokenLab

Resumen general

LiteLLM y TokenLab suelen combinarse de dos maneras.

usar TokenLab como endpoint compatible con OpenAI detrás de LiteLLM
poner LiteLLM delante de TokenLab para manejar claves virtuales, política de selección de modelos u observabilidad centralizada

Para TokenLab, la ruta por defecto más limpia es usar el modo OpenAI personalizado / compatible con OpenAI de LiteLLM con api_base = https://api.tokenlab.sh/v1.

Si necesitas de forma explícita formatos de solicitud nativos de Claude o Gemini, prioriza las integraciones nativas de TokenLab en lugar de forzar esos flujos a través de la abstracción compatible con OpenAI de LiteLLM.

Tipo: Framework o plataformaRuta principal: endpoint compatible con OpenAINivel de soporte: Ruta compatible

Instalación

pip install 'litellm[proxy]'

Configuración del proxy

model_list:
  - model_name: tokenlab-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.tokenlab.sh/v1
      api_key: os.environ/OPENAI_API_KEY

Inicio:

export OPENAI_API_KEY="sk-your-tokenlab-key"
litellm --config litellm-config.yaml --port 4000

Buenas prácticas

Trata TokenLab primero como ascendente custom_openai
Coloca LiteLLM delante solo si realmente necesitas una capa adicional de pasarela
No des por hecho todos los detalles nativos del proveedor en una ruta compatible con OpenAI