Streaming

Tổng quan

Streaming chuyển đầu ra theo từng phần. Dùng Responses streaming khi mô hình công bố hợp đồng Responses gốc và có tuyến upstream cùng giao thức; nếu không, dùng Chat Completions hoặc giao thức gốc mà mô hình công bố.

Khuyến nghị: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Ranh giới Streaming Responses và Gemini

Với Responses SSE, TokenLab giữ nguyên tên, thứ tự và trường sự kiện upstream, đồng thời đọc usage và trạng thái kết thúc ngoài luồng mà không đổi wire. Sau sự kiện đầu tiên đã gửi, không thử channel hoặc credential khác. Responses WebSocket chỉ nhận sự kiện chính thức response.create. Stream là ngầm định; background và response.cancel không được cung cấp trên transport này, còn background chỉ chạy qua HTTP. Mỗi kết nối xử lý tuần tự, không multiplexing và giới hạn 60 phút. Gemini SSE giữ nguyên chunk gốc. Sự kiện chỉ có metadata, chunk trung gian không có finishReason và EOF tự nhiên đều hợp lệ; TokenLab không thêm dấu Chat [DONE].

Phát trực tuyến Chat Completions

Nếu framework của bạn vẫn yêu cầu các chunk SSE từ /v1/chat/completions, cách này cũng hoạt động:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Điều kiện kết thúc stream

Các điều kiện hoàn tất điển hình:

response.completed cho các stream của Responses API
finish_reason: "stop" cho các stream Chat Completions
finish_reason: "length" khi chạm đến giới hạn token
các sự kiện gọi tool/function khi model muốn sử dụng tools

Mẫu cho ứng dụng web

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

Thực tiễn tốt nhất

Ưu tiên Responses streaming cho các bản dựng mới

Sử dụng /v1/responses nếu SDK hoặc ứng dụng của bạn đã hỗ trợ. Giữ lại streaming /v1/chat/completions cho các tích hợp cần tương thích.

Flush đầu ra tăng dần

Nối các chunk delta vào UI hoặc terminal ngay khi chúng đến thay vì chờ toàn bộ phản hồi hoàn tất.

Xử lý ngắt kết nối và thử lại

Xem việc rớt mạng và ngắt kết nối từ upstream là các chế độ lỗi bình thường, và kết nối lại một cách cẩn thận cho các phiên chạy dài.

Bắt đầu

Hướng dẫn cốt lõi

Hướng dẫn media

Tổng quan

Khuyến nghị: Responses Streaming

Ranh giới Streaming Responses và Gemini

Phát trực tuyến Chat Completions

Điều kiện kết thúc stream

Mẫu cho ứng dụng web

Thực tiễn tốt nhất

​Tổng quan

​Khuyến nghị: Responses Streaming

​Ranh giới Streaming Responses và Gemini

​Phát trực tuyến Chat Completions

​Điều kiện kết thúc stream

​Mẫu cho ứng dụng web

​Thực tiễn tốt nhất

Tổng quan

Khuyến nghị: Responses Streaming

Ranh giới Streaming Responses và Gemini

Phát trực tuyến Chat Completions

Điều kiện kết thúc stream

Mẫu cho ứng dụng web

Thực tiễn tốt nhất