Toplu Oluştur

​

Genel Bakış

​

Notlar

• Toplu girdi dosyaları purpose=batch kullanmalıdır.
• completion_window şu anda 24s.
• Çıktı sıralaması garanti edilmez; her zaman custom_id ile eşleştirin.
• Toplu öğeler içinde akış desteği yoktur.
• Şu anda desteklenen toplu öğe uç noktaları /v1/chat/completions ve /v1/embeddingstir; native Responses toplu yürütücüsü hazır olana kadar /v1/responses toplu işleri reddedilir.

​

Örnek

curl -X POST "https://api.tokenlab.sh/v1/batches" \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "input_file_id": "file_abc123",
    "endpoint": "/v1/chat/completions",
    "completion_window": "24h"
  }'

​

İstek / Yanıt

​

Operasyonel İpuçları

• İdempotent aşağı akış uzlaştırması için custom_id kullanın.
• output_file_id ve error_file_id’yi yalnızca işçi toplu işi tamamladıktan sonra bekleyin.
• Toplu fiyatlandırma, isBatchRequest=true indirim kuralları uygulandığı için senkron fiyatlandırmadan farklı olabilir.

​

Yanıt örneği

{
  "id": "batch_abc123",
  "object": "batch",
  "endpoint": "/v1/chat/completions",
  "input_file_id": "file_abc123",
  "completion_window": "24h",
  "status": "validating",
  "output_file_id": null,
  "error_file_id": null,
  "created_at": 1706000000
}

​

Önemli alanlar