Descripción general
Ragas puede evaluar aplicaciones respaldadas por TokenLab pasando un cliente AsyncOpenAI compatible con OpenAI a llm_factory.
Tipo: Marco de evaluaciónRuta principal: Chat Completions compatibles con OpenAINivel de soporte: Ruta compatible con OpenAI soportada
Entorno
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
Ejemplo de evaluador
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
llm en las métricas y conjuntos de prueba (testsets) de Ragas de la misma manera que usarías un modelo respaldado por el SDK de OpenAI.
Notas sobre los endpoints
Ragas utiliza aquí la ruta del cliente del SDK de OpenAI. Las respuestas nativas de TokenLab, los mensajes de Anthropic y las rutas de Gemini se utilizan mejor a través de ejecutores de evaluación que admitan directamente esos formatos de solicitud.
