DSPy - TokenLab

Gambaran Umum

DSPy dapat memanggil TokenLab dengan menggunakan prefiks penyedia openai/ bersama endpoint /v1 TokenLab yang kompatibel dengan OpenAI.

Tipe: Kerangka Kerja PemrogramanJalur Utama: Panggilan model bahasa yang kompatibel dengan OpenAITingkat Keyakinan Dukungan: Jalur endpoint kustom didukung

Lingkungan

export TOKENLAB_API_KEY="sk-your-tokenlab-key"

Konfigurasi DSPy

import os

import dspy

lm = dspy.LM(
    "openai/claude-sonnet-5",
    api_key=os.environ["TOKENLAB_API_KEY"],
    api_base="https://api.tokenlab.sh/v1",
)

dspy.configure(lm=lm)

Menggunakan Modul

qa = dspy.ChainOfThought("question -> answer")

response = qa(question="What should I monitor in an LLM gateway?")
print(response.answer)

Saran Model

Gunakan gpt-5.4-mini untuk eksperimen cepat, claude-sonnet-5 untuk penelusuran penalaran yang lebih kuat, dan deepseek-v4-flash untuk siklus iterasi yang cepat.