البث

نظرة عامة

يتيح البث استلام الخرج تدريجيًا. استخدم Responses streaming عندما يعلن النموذج عن عقد Responses الأصلي وتوجد قناة upstream من البروتوكول نفسه؛ وإلا استخدم Chat Completions أو البروتوكول الأصلي الذي يعلنه النموذج.

الموصى به: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

حدود Responses وGemini المتدفقة

تحافظ TokenLab في Responses SSE على أسماء أحداث upstream وترتيبها وحقولها، وتقرأ usage والحالة النهائية خارج المسار من دون تغيير wire. بعد تسليم أول حدث لا تُعاد المحاولة على قناة أو credential أخرى. يقبل Responses WebSocket أحداث response.create الرسمية فقط. يكون stream ضمنيًا، ولا تتوفر background أو response.cancel على هذا النقل؛ تعمل background عبر HTTP فقط. كل اتصال تسلسلي، لا يدعم multiplex، وحده الأقصى 60 دقيقة. يحافظ Gemini SSE على الأجزاء الأصلية. أحداث metadata فقط، والأجزاء الوسيطة بلا finishReason، وEOF الطبيعي حالات صحيحة، ولا تضيف TokenLab علامة Chat [DONE].

بث Chat Completions

إذا كان إطار العمل لديك لا يزال يتوقع مقاطع SSE من /v1/chat/completions، فهذا يعمل أيضًا:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

شروط انتهاء البث

شروط الإكمال المعتادة:

response.completed لتدفقات Responses API
finish_reason: "stop" لتدفقات Chat Completions
finish_reason: "length" عند الوصول إلى حد token
أحداث استدعاء الأداة/الدالة عندما يريد النموذج استخدام الأدوات

نمط تطبيق الويب

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

أفضل الممارسات

فضّل Responses streaming في الإنشاءات الجديدة

استخدم /v1/responses إذا كان SDK أو التطبيق لديك يدعمه بالفعل. واحتفِظ ببث /v1/chat/completions لعمليات التكامل التي تتطلب التوافق.

ادفع المخرجات تدريجيًا

ألحِق مقاطع delta بواجهة المستخدم أو الطرفية عند وصولها بدلًا من انتظار الاستجابة الكاملة.

تعامل مع انقطاعات الاتصال وإعادات المحاولة

اعتبر انقطاع الشبكة وانفصال المصدر العلوي أوضاع فشل طبيعية، وأعِد الاتصال بحذر للجلسات طويلة التشغيل.

البدء

الأدلة الأساسية

أدلة الوسائط

نظرة عامة

الموصى به: Responses Streaming

حدود Responses وGemini المتدفقة

بث Chat Completions

شروط انتهاء البث

نمط تطبيق الويب

أفضل الممارسات

​نظرة عامة

​الموصى به: Responses Streaming

​حدود Responses وGemini المتدفقة

​بث Chat Completions

​شروط انتهاء البث

​نمط تطبيق الويب

​أفضل الممارسات

نظرة عامة

الموصى به: Responses Streaming

حدود Responses وGemini المتدفقة

بث Chat Completions

شروط انتهاء البث

نمط تطبيق الويب

أفضل الممارسات