Streaming

Ringkasan

Streaming mengirim output secara bertahap. Gunakan Responses streaming ketika model mengiklankan kontrak Responses native dan tersedia rute upstream dengan protokol yang sama; jika tidak, gunakan Chat Completions atau protokol native yang dipublikasikan model.

Direkomendasikan: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Batas Streaming Responses dan Gemini

Pada Responses SSE, TokenLab mempertahankan nama, urutan, dan field event upstream serta membaca usage dan status terminal secara out-of-band tanpa mengubah wire. Setelah event pertama dikirim, channel atau credential lain tidak dicoba. Responses WebSocket hanya menerima event resmi response.create. Stream bersifat implisit; background dan response.cancel tidak tersedia pada transport ini, sedangkan background hanya berjalan melalui HTTP. Setiap koneksi bersifat serial, tanpa multiplexing, dan dibatasi 60 menit. Gemini SSE mempertahankan chunk native. Event metadata-only, chunk perantara tanpa finishReason, dan EOF alami valid; TokenLab tidak menambahkan marker Chat [DONE].

Streaming Chat Completions

Jika framework Anda masih mengharapkan chunk SSE dari /v1/chat/completions, itu juga berfungsi:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Kondisi Akhir Stream

Kondisi penyelesaian yang umum:

response.completed untuk stream Responses API
finish_reason: "stop" untuk stream Chat Completions
finish_reason: "length" saat batas token tercapai
event pemanggilan tool/function saat model ingin menggunakan tool

Pola Aplikasi Web

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

Praktik Terbaik

Utamakan Responses streaming untuk build baru

Gunakan /v1/responses jika SDK atau aplikasi Anda sudah mendukungnya. Pertahankan streaming /v1/chat/completions untuk integrasi yang didorong oleh kebutuhan kompatibilitas.

Flush output secara bertahap

Tambahkan chunk delta ke UI atau terminal saat chunk tersebut tiba alih-alih menunggu respons penuh.

Tangani pemutusan koneksi dan percobaan ulang

Perlakukan gangguan jaringan dan pemutusan koneksi upstream sebagai mode kegagalan yang normal, dan lakukan koneksi ulang dengan hati-hati untuk sesi yang berjalan lama.

Memulai

Panduan inti

Panduan media

Ringkasan

Direkomendasikan: Responses Streaming

Batas Streaming Responses dan Gemini

Streaming Chat Completions

Kondisi Akhir Stream

Pola Aplikasi Web

Praktik Terbaik

​Ringkasan

​Direkomendasikan: Responses Streaming

​Batas Streaming Responses dan Gemini

​Streaming Chat Completions

​Kondisi Akhir Stream

​Pola Aplikasi Web

​Praktik Terbaik

Ringkasan

Direkomendasikan: Responses Streaming

Batas Streaming Responses dan Gemini

Streaming Chat Completions

Kondisi Akhir Stream

Pola Aplikasi Web

Praktik Terbaik