DSPy - TokenLab

Tổng quan

DSPy có thể gọi TokenLab bằng cách sử dụng tiền tố nhà cung cấp openai/ với endpoint /v1 tương thích với OpenAI của TokenLab.

Loại: Khung lập trình (Programming Framework)Đường dẫn chính: Các lệnh gọi mô hình ngôn ngữ tương thích với OpenAIĐộ tin cậy hỗ trợ: Hỗ trợ đường dẫn endpoint tùy chỉnh

Môi trường

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Cấu hình DSPy

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

Sử dụng Module

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

Gợi ý mô hình

Sử dụng gpt-5.4-mini cho các thử nghiệm nhanh, claude-sonnet-5 cho các chuỗi suy luận mạnh mẽ hơn và deepseek-v4-flash cho các vòng lặp lặp lại nhanh.