> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt
> Use this file to discover all available pages before exploring further.

# Ragas

> Evaluasi aplikasi LLM dengan Ragas dan TokenLab

## Gambaran Umum

Ragas dapat mengevaluasi aplikasi yang didukung TokenLab dengan meneruskan klien `AsyncOpenAI` yang kompatibel dengan OpenAI ke dalam `llm_factory`.

<Note>
  **Tipe**: Kerangka kerja evaluasi

  **Jalur Utama**: Chat Completions yang kompatibel dengan OpenAI

  **Tingkat Dukungan**: Jalur yang kompatibel dengan OpenAI didukung
</Note>

## Lingkungan

```bash theme={null}
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
```

## Contoh Evaluator

```python theme={null}
import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
```

Gunakan `llm` dalam metrik dan testset Ragas dengan cara yang sama seperti Anda menggunakan model yang didukung SDK OpenAI.

## Catatan Endpoint

Ragas menggunakan jalur klien SDK OpenAI di sini. Respons Native TokenLab, Anthropic Messages, dan rute Gemini paling baik digunakan melalui runner evaluasi yang mendukung bentuk permintaan tersebut secara langsung.