Guardrails - TokenLab

Gambaran Umum

Guardrails dapat membungkus callable apa pun yang kompatibel dengan antarmuka API LLM-nya. Untuk TokenLab, konfigurasikan OpenAI SDK dengan base URL TokenLab dan teruskan callable chat completions ke guard Anda.

Tipe: Kerangka kerja validasi dan output terstrukturJalur Utama: Chat Completions yang kompatibel dengan OpenAITingkat Dukungan: Jalur yang kompatibel dengan OpenAI didukung

Lingkungan

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Contoh

import os

from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field


class Pet(BaseModel):
    pet_type: str = Field(description="Species of pet")
    name: str = Field(description="A unique pet name")


guard = Guard.for_pydantic(output_class=Pet)

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

raw_output, validated_output, *rest = guard(
    llm_api=client.chat.completions.create,
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "What kind of pet should I get?"}],
)

Catatan Endpoint

Guardrails berfokus pada validasi di sekitar panggilan LLM. Gunakan jalur yang kompatibel dengan OpenAI untuk alur chat-completions, atau teruskan callable kustom jika aplikasi Anda memerlukan endpoint TokenLab asli.