Prompt flow - TokenLab

概覽

Prompt flow 的 OpenAI 連線支援自訂 base_url。請將其設定為 TokenLab 的 /v1 端點，並在您的 flow 中使用 TokenLab 模型 ID。

類型: Flow 建構與評估平台主要路徑: 相容於 OpenAI 的 Chat Completions支援信心: 支援相容於 OpenAI 的路徑

建立連線

pf connection create \
  --file ./my_chatbot/openai.yaml \
  --set api_key=sk-your-tokenlab-key base_url=https://api.tokenlab.sh/v1 \
  --name open_ai_connection

Flow 注意事項

在您的 flow.dag.yaml 中，請確保連線名稱與上述指令一致：

connection: open_ai_connection
deployment_name: claude-sonnet-5

部分 Prompt flow 範本將此值稱為 deployment_name，因為這些範本同時也支援 Azure OpenAI 部署。使用 TokenLab 時，請填入 TokenLab 模型 ID。

端點注意事項

此整合使用 Prompt flow 的 OpenAI 相容連線。若要使用原生 TokenLab 回應、Anthropic Messages 以及 Gemini 路由，則需要使用 Prompt flow 工具或直接呼叫這些端點的自訂 Python 節點。

Guardrails Promptfoo