Aperçu
Ragas peut évaluer les applications basées sur TokenLab en passant un client AsyncOpenAI compatible OpenAI dans llm_factory.
Type : Framework d’évaluationChemin principal : Chat Completions compatibles OpenAINiveau de support : Chemin compatible OpenAI supporté
Environnement
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
Exemple d’évaluateur
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
llm dans les métriques et les jeux de test Ragas de la même manière que vous utiliseriez un modèle basé sur le SDK OpenAI.
Notes sur les endpoints
Ragas utilise ici le chemin du client SDK OpenAI. Les réponses natives TokenLab, les messages Anthropic et les routes Gemini sont mieux utilisés via des exécuteurs d’évaluation qui supportent directement ces formats de requête.
