跳转到主要内容

​
概述

Ragas 可以通过将兼容 OpenAI 的 AsyncOpenAI 客户端传入 llm_factory 来评估由 TokenLab 支持的应用程序。
类型: 评估框架主要路径: 兼容 OpenAI 的 Chat Completions支持置信度: 支持兼容 OpenAI 的路径

​
环境

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

​
评估器示例

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
在 Ragas 指标和测试集（testsets）中使用 llm 的方式与使用 OpenAI SDK 支持的模型相同。

​
端点说明

Ragas 在此处使用 OpenAI SDK 客户端路径。原生的 TokenLab Responses、Anthropic Messages 和 Gemini 路由最好通过直接支持这些请求格式的评估运行器（evaluation runners）来使用。