Promptfoo - TokenLab

Tổng quan

Promptfoo có thể đánh giá TokenLab thông qua các nhà cung cấp (provider) chat và Responses tương thích với OpenAI.

Loại: Khung đánh giá (Evaluation Framework)Các đường dẫn chính: Chat completions và Responses tương thích với OpenAIĐộ tin cậy hỗ trợ: Đường dẫn được hỗ trợ

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Cấu hình ví dụ

description: TokenLab provider example

prompts:
  - 'Answer in one concise paragraph: {{question}}'

providers:
  - id: openai:chat:gpt-5.4-mini
    label: tokenlab-chat-gpt-5.4-mini
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'
  - id: openai:responses:gpt-5.5
    label: tokenlab-responses-gpt-5.5
    config:
      apiBaseUrl: https://api.tokenlab.sh/v1
      apiKey: '{{env.TOKENLAB_API_KEY}}'

tests:
  - vars:
      question: What are two practical ways to evaluate an LLM gateway?
    assert:
      - type: contains-any
        value:
          - latency
          - reliability
          - cost
          - quality

Chạy đánh giá

promptfoo eval

Hãy sử dụng các nhà cung cấp chat để có khả năng tương thích rộng rãi. Sử dụng các nhà cung cấp Responses khi việc đánh giá phụ thuộc cụ thể vào hành vi của Responses.