Ragas - TokenLab

Descripción general

Ragas puede evaluar aplicaciones respaldadas por TokenLab pasando un cliente AsyncOpenAI compatible con OpenAI a llm_factory.

Tipo: Marco de evaluaciónRuta principal: Chat Completions compatibles con OpenAINivel de soporte: Ruta compatible con OpenAI soportada

Entorno

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Ejemplo de evaluador

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Utiliza llm en las métricas y conjuntos de prueba (testsets) de Ragas de la misma manera que usarías un modelo respaldado por el SDK de OpenAI.

Notas sobre los endpoints

Ragas utiliza aquí la ruta del cliente del SDK de OpenAI. Las respuestas nativas de TokenLab, los mensajes de Anthropic y las rutas de Gemini se utilizan mejor a través de ejecutores de evaluación que admitan directamente esos formatos de solicitud.