Überblick
Ragas kann TokenLab-gestützte Anwendungen evaluieren, indem ein OpenAI-kompatibler AsyncOpenAI-Client an llm_factory übergeben wird.
Typ: Evaluations-FrameworkPrimärer Pfad: OpenAI-kompatible Chat CompletionsSupport-Status: Unterstützter OpenAI-kompatibler Pfad
Umgebung
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
Beispiel-Evaluator
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
llm in Ragas-Metriken und Testsets auf die gleiche Weise, wie Sie ein OpenAI SDK-gestütztes Modell verwenden würden.
Hinweise zu Endpunkten
Ragas verwendet hier den OpenAI SDK-Client-Pfad. Native TokenLab-Responses, Anthropic Messages und Gemini-Routen werden am besten über Evaluations-Runner genutzt, die diese Request-Formate direkt unterstützen.
