Guardrails - TokenLab

Aperçu

Guardrails peut encapsuler tout appelable compatible avec son interface API LLM. Pour TokenLab, configurez le SDK OpenAI avec l’URL de base de TokenLab et passez l’appelable de complétions de chat à votre guard.

Type : Framework de validation et de sortie structuréeChemin principal : Chat Completions compatible OpenAINiveau de support : Chemin compatible OpenAI pris en charge

Environnement

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Exemple

import os

from guardrails import Guard
from openai import OpenAI
from pydantic import BaseModel, Field


class Pet(BaseModel):
    pet_type: str = Field(description="Species of pet")
    name: str = Field(description="A unique pet name")


guard = Guard.for_pydantic(output_class=Pet)

client = OpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)

raw_output, validated_output, *rest = guard(
    llm_api=client.chat.completions.create,
    model="claude-sonnet-5",
    messages=[{"role": "user", "content": "What kind of pet should I get?"}],
)

Notes sur les endpoints

Guardrails se concentre sur la validation autour de l’appel LLM. Utilisez le chemin compatible OpenAI pour les flux de chat-completions, ou passez un appelable personnalisé si votre application nécessite un endpoint TokenLab natif.