Haystack - TokenLab

개요

Haystack의 OpenAIChatGenerator는 api_base_url을 통해 OpenAI 호환 커스텀 배포를 지원합니다. 이를 TokenLab으로 지정하고 TokenLab API 키를 제공하십시오.

유형: RAG 및 파이프라인 프레임워크기본 경로: OpenAI 호환 Chat Completions지원 신뢰도: 지원되는 OpenAI 호환 경로

환경 설정

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

생성기(Generator)

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("TOKENLAB_API_KEY"),
    api_base_url="https://api.tokenlab.sh/v1",
    model="claude-sonnet-5",
)

response = generator.run(
    messages=[ChatMessage.from_user("Summarize this document in one sentence.")]
)

엔드포인트 참고 사항

Haystack 챗 생성기 파이프라인에는 이 경로를 사용하십시오. 임베딩의 경우, 파이프라인에서 TokenLab 임베딩을 사용한다면 해당 Haystack 임베딩 컴포넌트를 TokenLab의 /v1 베이스 URL로 구성하십시오.