Ragas - TokenLab

Genel Bakış

Ragas, OpenAI uyumlu bir AsyncOpenAI istemcisini llm_factory içine geçirerek TokenLab destekli uygulamaları değerlendirebilir.

Tür: Değerlendirme çerçevesiBirincil Yol: OpenAI uyumlu Chat CompletionsDestek Güveni: Desteklenen OpenAI uyumlu yol

Ortam

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Örnek Değerlendirici

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Ragas metriklerinde ve test kümelerinde llm nesnesini, OpenAI SDK destekli bir modeli kullanacağınız şekilde kullanın.

Uç Nokta Notları

Ragas burada OpenAI SDK istemci yolunu kullanır. Yerel TokenLab Yanıtları, Anthropic Messages ve Gemini rotaları, bu istek biçimlerini doğrudan destekleyen değerlendirme çalıştırıcıları aracılığıyla en iyi şekilde kullanılır.