ストリーミング

概要

Streaming は出力を段階的に配信します。モデルがネイティブ Responses 契約を公開し、同一プロトコルの upstream ルートがある場合に Responses streaming を使用してください。それ以外は Chat Completions またはモデルが公開するネイティブプロトコルを使用します。

推奨: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Responses と Gemini の streaming 境界

Responses SSE では upstream イベントの名前、順序、フィールドを保持し、wire を変えずに usage と終端状態を帯域外で読み取ります。最初のイベントを配信した後は、別の channel や credential を試しません。 Responses WebSocket が受け付けるのは公式の response.create イベントだけです。stream は暗黙で、この transport では background と response.cancel を提供しません。background は HTTP のみです。接続は直列で multiplexing を行わず、上限は 60 分です。 Gemini SSE はネイティブ chunk を保持します。metadata のみのイベント、finishReason のない中間 chunk、自然な EOF は有効で、Chat の [DONE] を追加しません。

Chat Completions ストリーミング

フレームワークが依然として /v1/chat/completions からの SSE チャンクを想定している場合でも、これも動作します。

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

ストリーム終了条件

一般的な完了条件:

Responses API ストリームでは response.completed
Chat Completions ストリームでは finish_reason: "stop"
token 制限に達した場合は finish_reason: "length"
モデルがツールを使用したい場合の tool/function call イベント

Web アプリのパターン

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

ベストプラクティス

新規構築では Responses streaming を優先する

SDK またはアプリがすでに /v1/responses をサポートしている場合は、それを使用してください。/v1/chat/completions のストリーミングは、互換性を重視した統合向けに維持してください。

出力を段階的に flush する

完全な応答を待つのではなく、到着した delta チャンクを UI またはターミナルに追加してください。

切断と再試行を処理する

ネットワーク切断や上流側の切断は通常の障害モードとして扱い、長時間実行されるセッションでは慎重に再接続してください。

はじめに

コアガイド

メディアガイド

ストリーミング

概要

推奨: Responses Streaming

Responses と Gemini の streaming 境界

Chat Completions ストリーミング

ストリーム終了条件

Web アプリのパターン

ベストプラクティス

​概要

​推奨: Responses Streaming

​Responses と Gemini の streaming 境界

​Chat Completions ストリーミング

​ストリーム終了条件

​Web アプリのパターン

​ベストプラクティス

概要

推奨: Responses Streaming

Responses と Gemini の streaming 境界

Chat Completions ストリーミング

ストリーム終了条件

Web アプリのパターン

ベストプラクティス