> ## Documentation Index
> Fetch the complete documentation index at: https://docs.tokenlab.sh/llms.txt
> Use this file to discover all available pages before exploring further.

# Ragas

> Ragas와 TokenLab을 사용하여 LLM 앱 평가하기

## 개요

Ragas는 OpenAI 호환 `AsyncOpenAI` 클라이언트를 `llm_factory`에 전달하여 TokenLab 기반 애플리케이션을 평가할 수 있습니다.

<Note>
  **유형**: 평가 프레임워크

  **기본 경로**: OpenAI 호환 Chat Completions

  **지원 신뢰도**: 지원되는 OpenAI 호환 경로
</Note>

## 환경 설정

```bash theme={null}
export TOKENLAB_API_KEY="sk-your-tokenlab-key"
```

## 평가자 예시

```python theme={null}
import os

from openai import AsyncOpenAI
from ragas.llms import llm_factory
from ragas.metrics import DiscreteMetric

client = AsyncOpenAI(
    api_key=os.environ["TOKENLAB_API_KEY"],
    base_url="https://api.tokenlab.sh/v1",
)
llm = llm_factory("claude-sonnet-5", client=client)

metric = DiscreteMetric(
    name="summary_accuracy",
    allowed_values=["accurate", "inaccurate"],
    prompt="Evaluate whether the response is accurate. Answer only accurate or inaccurate.\n\nResponse: {response}",
)
```

OpenAI SDK 기반 모델을 사용하는 것과 동일한 방식으로 Ragas 메트릭 및 테스트 세트에서 `llm`을 사용하십시오.

## 엔드포인트 참고 사항

Ragas는 여기에서 OpenAI SDK 클라이언트 경로를 사용합니다. Native TokenLab Responses, Anthropic Messages 및 Gemini 경로는 해당 요청 형식을 직접 지원하는 평가 러너를 통해 사용하는 것이 가장 좋습니다.