Haystack - TokenLab

Descripción general

El OpenAIChatGenerator de Haystack admite implementaciones personalizadas compatibles con OpenAI a través de api_base_url. Apúntelo a TokenLab y proporcione una clave de API de TokenLab.

Tipo: Framework de RAG y pipelineRuta principal: Chat Completions compatibles con OpenAINivel de soporte: Ruta compatible con OpenAI soportada

Entorno

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Generador

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
    api_base_url="https://api.tokenlab.sh/v1",
    model="claude-sonnet-5",
)

response = generator.run(
    messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)

Notas sobre el endpoint

Utilice esta ruta para los pipelines del generador de chat de Haystack. Para embeddings, configure el componente de embedding de Haystack correspondiente con la URL base /v1 de TokenLab si su pipeline utiliza embeddings de TokenLab.