Skip to main content

請求本文

string
必填
要使用的模型 ID。可用選項請參閱 Models
array
必填
組成對話的一系列訊息。每個訊息物件包含:
  • role (string): system, user, 或 assistant
  • content (string | array): 訊息內容
content 為陣列時,TokenLab 支援相容模型的結構化多模態區塊:
  • text: { "type": "text", "text": "..." }
  • 圖片: { "type": "image_url", "image_url": { "url": "https://..." } }
  • 影片: { "type": "video_url", "video_url": { "url": "https://..." } }
  • 音訊: { "type": "audio_url", "audio_url": { "url": "https://..." } }
對於多模態生產流量,建議使用公開的 https URL。TokenLab 會將這些媒體區塊轉換為路由至實體模型所需的供應商專屬請求格式。
number
預設值:"1"
介於 0 到 2 的取樣溫度。較高的值會使輸出更具隨機性。
integer
要生成的最大 token 數量。
boolean
預設值:"false"
若為 true,部分訊息差異將會以 SSE 事件發送。
object
串流選項。設定 include_usage: true 以在串流分片中接收 token 使用資訊。
number
預設值:"1"
Nucleus 取樣參數。建議調整此參數或 temperature,而非兩者同時調整。
number
預設值:"0"
數值介於 -2.0 到 2.0。正值會懲罰重複出現的 token。
number
預設值:"0"
數值介於 -2.0 到 2.0。正值會懲罰已出現在文字中的 token。
string | array
最多 4 個序列,API 在遇到這些序列時會停止生成 token。
array
模型可能會呼叫的一組工具(函式呼叫)。
string | object
控制模型如何使用工具。選項:autononerequired,或指定的工具物件。
boolean
預設值:"true"
是否啟用平行函式呼叫。設為 false 則依序呼叫函式。
integer
補全的最大 token 數量。為 max_tokens 的替代方案,對於較新的具推理能力的模型族群較有用。
string
針對具推理能力模型的推理努力等級。選項:lowmediumhigh
integer
用於確定性取樣的隨機種子。
integer
預設值:"1"
要生成的補全數量(1-128)。
boolean
是否回傳對數機率(log probabilities)。
integer
要回傳的前 N 個對數機率(0-20)。需要 logprobs: true
integer
Top-K 取樣參數(適用於 Anthropic/Gemini 模型)。
object
回應格式規格。使用 {"type": "json_object"} 以啟用 JSON 模式。將 {"type": "json_schema", "json_schema": {...}} 視為依據所選模型與路由行為的最佳努力路徑。
object
修改指定 token 出現機率的偏好。將 token ID(以字串)對映到 -100 到 100 的偏差值。
string
代表終端使用者的唯一識別碼,用於濫用監控。

回應

string
此補全的唯一識別碼。
string
永遠為 chat.completion
integer
補全建立的 Unix 時間戳記。
string
用於補全的模型。
array
補全選項清單。每個選項包含:
  • index (integer): 選項的索引
  • message (object): 生成的訊息
  • finish_reason (string): 模型停止的原因(stoplengthtool_calls
object
token 使用統計。
  • prompt_tokens (integer): prompt 中的 token 數
  • completion_tokens (integer): 補全中的 token 數
  • total_tokens (integer): 使用的總 token 數

多模態範例