概覽
當您使用標準 OpenAI 相容的 chat 與 embeddings 介面時,TokenLab 能夠良好地搭配 LangChain 的ChatOpenAI 與 OpenAIEmbeddings 整合使用。
目前的 LangChain 文件指出,
ChatOpenAI 目標是官方 OpenAI 相容的 request/response 格式。如果您需要 provider 特定的非標準 response 欄位,請使用 provider 專用的 LangChain 整合,而不是依賴 ChatOpenAI。類型: 框架或平台主要路徑: OpenAI 相容 標準 surface支援級別: 支援標準 surface
安裝
基本設定
使用不同模型
訊息歷史
串流
Embeddings
簡單的 RAG 範例
代理
對於新的 agentic 專案,LangChain 建議考慮使用 LangGraph,以便對長時間執行及使用工具的工作流程提供更明確的控制。
最佳實務
明確傳遞 base_url
明確傳遞 base_url
最可靠的 TokenLab 設定方式,是直接將
base_url="https://api.tokenlab.sh/v1" 傳遞給 ChatOpenAI 與 OpenAIEmbeddings,而不是依賴較舊的環境變數別名。在這裡使用標準功能
在這裡使用標準功能
請在
ChatOpenAI 上使用標準 chat、tool calling、streaming 與 embeddings 功能。如果您需要供應商原生的額外功能,請切換至該供應商自己的 LangChain 整合。為檢索使用較便宜的模型
為檢索使用較便宜的模型
針對檢索使用如
text-embedding-3-small 這類 embedding 模型,並將更強大的 chat 模型保留用於最終回答步驟。