Gambaran Umum
Ragas dapat mengevaluasi aplikasi yang didukung TokenLab dengan meneruskan klien AsyncOpenAI yang kompatibel dengan OpenAI ke dalam llm_factory.
Tipe: Kerangka kerja evaluasiJalur Utama: Chat Completions yang kompatibel dengan OpenAITingkat Dukungan: Jalur yang kompatibel dengan OpenAI didukung
Lingkungan
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
Contoh Evaluator
import os
from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric
client = AsyncOpenAI(
api_key=os.environ["TOKENLAB_API_KEY"],
base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)
metric = DiscreteMetric(
name="summary_accuracy",
allowed_values=["accurate", "inaccurate"],
prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
llm dalam metrik dan testset Ragas dengan cara yang sama seperti Anda menggunakan model yang didukung SDK OpenAI.
Catatan Endpoint
Ragas menggunakan jalur klien SDK OpenAI di sini. Respons Native TokenLab, Anthropic Messages, dan rute Gemini paling baik digunakan melalui runner evaluasi yang mendukung bentuk permintaan tersebut secara langsung.
