Ragas - TokenLab

概要

Ragasは、OpenAI互換の AsyncOpenAI クライアントを llm_factory に渡すことで、TokenLabをバックエンドとするアプリケーションを評価できます。

タイプ: 評価フレームワーク主要パス: OpenAI互換のChat Completionsサポート信頼度: サポートされているOpenAI互換パス

環境設定

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

評価の例

import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)

Ragasのメトリクスやテストセットにおいて、OpenAI SDKをバックエンドとするモデルを使用する場合と同様に llm を使用してください。

エンドポイントに関する注意点

RagasはここでOpenAI SDKクライアントパスを使用します。ネイティブのTokenLabレスポンス、Anthropic Messages、およびGeminiルートは、それらのリクエスト形式を直接サポートする評価ランナーを通じて使用するのが最適です。