Skip to main content

Thân yêu cầu

string
bắt buộc
ID của mô hình để sử dụng. Xem Models để biết các tùy chọn có sẵn.
array
bắt buộc
Danh sách các tin nhắn tạo thành cuộc trò chuyện.Mỗi đối tượng tin nhắn chứa:
  • role (string): system, user, hoặc assistant
  • content (string | array): Nội dung tin nhắn
Khi content là một mảng, TokenLab hỗ trợ các khối đa phương tiện có cấu trúc cho các mô hình tương thích:
  • text: { "type": "text", "text": "..." }
  • hình ảnh: { "type": "image_url", "image_url": { "url": "https://..." } }
  • video: { "type": "video_url", "video_url": { "url": "https://..." } }
  • âm thanh: { "type": "audio_url", "audio_url": { "url": "https://..." } }
Đối với lưu lượng sản xuất đa phương tiện, ưu tiên các URL công khai https. TokenLab sẽ chuyển đổi các khối media này thành dạng yêu cầu cụ thể của nhà cung cấp cần thiết cho mô hình vật lý được chuyển hướng.
number
mặc định:"1"
Tham số nhiệt độ sampling trong khoảng 0 đến 2. Giá trị cao hơn làm đầu ra ngẫu nhiên hơn.
integer
Số token tối đa được sinh.
boolean
mặc định:"false"
Nếu true, các delta tin nhắn từng phần sẽ được gửi dưới dạng sự kiện SSE.
object
Các tùy chọn cho streaming. Đặt include_usage: true để nhận thông tin sử dụng token trong các đoạn stream.
number
mặc định:"1"
Tham số Nucleus sampling. Chúng tôi khuyến nghị điều chỉnh tham số này hoặc temperature, không cả hai.
number
mặc định:"0"
Số trong khoảng -2.0 đến 2.0. Giá trị dương phạt các token lặp lại.
number
mặc định:"0"
Số trong khoảng -2.0 đến 2.0. Giá trị dương phạt các token đã xuất hiện trong văn bản.
string | array
Tối đa 4 chuỗi mà tại đó API sẽ ngừng sinh token.
array
Danh sách các công cụ mà mô hình có thể gọi (gọi hàm).
string | object
Điều khiển cách mô hình sử dụng công cụ. Tùy chọn: auto, none, required, hoặc một đối tượng công cụ cụ thể.
boolean
mặc định:"true"
Có bật gọi hàm song song hay không. Đặt thành false để gọi hàm tuần tự.
integer
Số token tối đa cho phần completion. Thay thế cho max_tokens, hữu ích cho các họ mô hình mới hỗ trợ reasoning.
string
Mức độ nỗ lực suy luận cho các mô hình hỗ trợ reasoning. Tùy chọn: low, medium, high.
integer
Giá trị seed ngẫu nhiên cho sampling mang tính xác định.
integer
mặc định:"1"
Số completions cần sinh (1-128).
boolean
Có trả về log probabilities hay không.
integer
Số log probabilities hàng đầu cần trả về (0-20). Yêu cầu logprobs: true.
integer
Tham số lấy mẫu Top-K (dành cho mô hình Anthropic/Gemini).
object
Đặc tả định dạng phản hồi. Sử dụng {"type": "json_object"} cho chế độ JSON. Xem {"type": "json_schema", "json_schema": {...}} như một cách tiếp cận cố gắng tốt nhất phụ thuộc vào mô hình được chọn và hành vi chuyển hướng.
object
Thay đổi khả năng xuất hiện của các token được chỉ định. Map token IDs (dưới dạng chuỗi) tới giá trị bias từ -100 đến 100.
string
Một định danh duy nhất đại diện cho người dùng cuối của bạn để giám sát lạm dụng.

Phản hồi

string
Định danh duy nhất cho kết quả hoàn thiện.
string
Luôn là chat.completion.
integer
Unix timestamp khi kết quả hoàn thiện được tạo.
string
Mô hình được sử dụng cho completion.
array
Danh sách các lựa chọn completion.Mỗi lựa chọn chứa:
  • index (integer): Chỉ số của lựa chọn
  • message (object): Tin nhắn được sinh ra
  • finish_reason (string): Lý do mô hình dừng (stop, length, tool_calls)
object
Thống kê sử dụng token.
  • prompt_tokens (integer): Số token trong prompt
  • completion_tokens (integer): Số token trong completion
  • total_tokens (integer): Tổng số token đã sử dụng

Ví dụ đa phương tiện