Ragas - TokenLab

Aperçu

Ragas peut évaluer les applications basées sur TokenLab en passant un client AsyncOpenAI compatible OpenAI dans llm_factory.

Type : Framework d’évaluationChemin principal : Chat Completions compatibles OpenAINiveau de support : Chemin compatible OpenAI supporté

Environnement

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Exemple d’évaluateur

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Utilisez llm dans les métriques et les jeux de test Ragas de la même manière que vous utiliseriez un modèle basé sur le SDK OpenAI.

Notes sur les endpoints

Ragas utilise ici le chemin du client SDK OpenAI. Les réponses natives TokenLab, les messages Anthropic et les routes Gemini sont mieux utilisés via des exécuteurs d’évaluation qui supportent directement ces formats de requête.