Promptfoo - TokenLab

개요

Promptfoo는 OpenAI 호환 채팅 및 Responses 제공자를 통해 TokenLab을 평가할 수 있습니다.

유형: 평가 프레임워크주요 경로: OpenAI 호환 채팅 완성(chat completions) 및 Responses지원 신뢰도: 지원되는 경로

환경

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

설정 예시

description: TokenLab 제공자 예시

prompts:
  - 'Answer in one concise paragraph: {{question}}'

providers:
  - id: openai:chat:gpt-5.4-mini
    label: tokenlab-chat-gpt-5.4-mini
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'
  - id: openai:responses:gpt-5.5
    label: tokenlab-responses-gpt-5.5
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'

tests:
  - vars:
      question: What are two practical ways to evaluate an LLM gateway?
    assert:
      - type: contains-any
        value:
          - latency
          - reliability
          - cost
          - quality

실행

promptfoo eval

광범위한 호환성을 위해서는 채팅 제공자를 사용하십시오. 평가가 Responses 동작에 특별히 의존하는 경우에는 Responses 제공자를 사용하십시오.