Akış

Genel Bakış

Streaming çıktıyı aşamalı teslim eder. Model yerel Responses sözleşmesini yayımladığında ve aynı protokolde upstream rota bulunduğunda Responses streaming kullanın; aksi halde Chat Completions veya modelin yayımladığı yerel protokolü kullanın.

Önerilen: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Responses ve Gemini Streaming Sınırları

Responses SSE’de TokenLab upstream olay adlarını, sırasını ve alanlarını korur; wire’ı değiştirmeden usage ve terminal durumu bant dışı okur. İlk olay teslim edildikten sonra başka channel veya credential denenmez. Responses WebSocket yalnızca resmi response.create olaylarını kabul eder. Stream örtüktür; background ve response.cancel bu transport üzerinde sunulmaz, background yalnızca HTTP ile çalışır. Her bağlantı seridir, multiplexing yapmaz ve 60 dakika ile sınırlıdır. Gemini SSE yerel chunk’ları korur. Yalnızca metadata içeren olaylar, finishReason bulunmayan ara chunk’lar ve doğal EOF geçerlidir; TokenLab Chat [DONE] işareti eklemez.

Chat Completions Akışı

Framework’ünüz hâlâ /v1/chat/completions adresinden SSE parçaları bekliyorsa, bu da çalışır:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Akış Bitiş Koşulları

Tipik tamamlanma koşulları:

Responses API akışları için response.completed
Chat Completions akışları için finish_reason: "stop"
Bir token sınırına ulaşıldığında finish_reason: "length"
Model araçları kullanmak istediğinde tool/function call olayları

Web Uygulaması Deseni

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

En İyi Uygulamalar

Yeni yapılar için Responses streaming tercih edin

SDK’nız veya uygulamanız zaten destekliyorsa /v1/responses kullanın. Uyumluluk odaklı entegrasyonlar için /v1/chat/completions akışını koruyun.

Çıktıyı kademeli olarak flush edin

Tam yanıtı beklemek yerine, delta parçalarını geldikçe UI’a veya terminale ekleyin.

Bağlantı kopmalarını ve yeniden denemeleri yönetin

Ağ düşmeleri ve upstream bağlantı kopmalarını normal hata durumları olarak ele alın ve uzun süreli oturumlar için dikkatli şekilde yeniden bağlanın.

Başlarken

Temel kılavuzlar

Medya kılavuzları

Genel Bakış

Önerilen: Responses Streaming

Responses ve Gemini Streaming Sınırları

Chat Completions Akışı

Akış Bitiş Koşulları

Web Uygulaması Deseni

En İyi Uygulamalar

​Genel Bakış

​Önerilen: Responses Streaming

​Responses ve Gemini Streaming Sınırları

​Chat Completions Akışı

​Akış Bitiş Koşulları

​Web Uygulaması Deseni

​En İyi Uygulamalar

Genel Bakış

Önerilen: Responses Streaming

Responses ve Gemini Streaming Sınırları

Chat Completions Akışı

Akış Bitiş Koşulları

Web Uygulaması Deseni

En İyi Uygulamalar