Tạo Lô

​

Tổng Quan

​

Ghi Chú

• Các tệp đầu vào lô phải sử dụng purpose=batch.
• completion_window hiện tại là 24h.
• Thứ tự đầu ra không được đảm bảo; luôn khớp theo custom_id.
• Streaming không được hỗ trợ bên trong các mục lô.
• Các endpoint mục lô hiện được hỗ trợ là /v1/chat/completions và /v1/embeddings; công việc lô /v1/responses bị từ chối cho đến khi executor lô Responses native sẵn sàng.

​

Ví Dụ

curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

​

Yêu Cầu / Phản Hồi

​

Mẹo Vận Hành

• Sử dụng custom_id cho việc đối chiếu không thay đổi ở phía hạ nguồn.
• Mong đợi output_file_id và error_file_id chỉ sau khi công nhân hoàn tất lô.
• Giá lô có thể khác với giá đồng bộ vì các quy tắc giảm giá isBatchRequest=true áp dụng.

​

Ví dụ phản hồi

{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

​

Trường quan trọng