跳转到主要内容

​
概述

Haystack 的 OpenAIChatGenerator 通过 api_base_url 支持自定义的 OpenAI 兼容部署。将其指向 TokenLab 并提供 TokenLab API key 即可使用。
类型: RAG 和 pipeline 框架主要路径: OpenAI 兼容的 Chat Completions支持置信度: 支持的 OpenAI 兼容路径

​
环境配置

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

​
生成器

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
    api_base_url="https://api.tokenlab.sh/v1",
    model="claude-sonnet-5",
)

response = generator.run(
    messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)

​
端点说明

在 Haystack 聊天生成器 pipeline 中使用此路径。对于嵌入（embeddings），如果你的 pipeline 使用了 TokenLab 嵌入，请使用 TokenLab 的 /v1 base URL 配置相应的 Haystack 嵌入组件。