Streaming

Überblick

Streaming liefert Ausgaben schrittweise. Verwenden Sie Responses-Streaming, wenn das Modell einen nativen Responses-Vertrag ausweist und eine gleichartige Upstream-Route verfügbar ist; andernfalls nutzen Sie Chat Completions oder das vom Modell veröffentlichte native Protokoll.

Empfohlen: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Streaming-Grenzen für Responses und Gemini

Bei Responses-SSE erhält TokenLab Namen, Reihenfolge und Felder der Upstream-Ereignisse und liest Usage sowie Terminalstatus nur nebenläufig, ohne den Wire zu verändern. Nach dem ersten ausgelieferten Ereignis wird kein anderer Kanal oder Credential versucht. Responses WebSocket akzeptiert nur offizielle response.create-Ereignisse. Stream ist implizit; background und response.cancel werden auf diesem Transport nicht angeboten, Background läuft nur über HTTP. Eine Verbindung arbeitet seriell, unterstützt kein Multiplexing und ist auf 60 Minuten begrenzt. Gemini-SSE erhält native Chunks. Reine Metadatenereignisse, Zwischen-Chunks ohne finishReason und natürliches EOF sind gültig; TokenLab fügt keinen Chat-Marker [DONE] hinzu.

Chat Completions-Streaming

Falls Ihr Framework weiterhin SSE-Chunks von /v1/chat/completions erwartet, funktioniert auch das:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Bedingungen für das Stream-Ende

Typische Abschlussbedingungen:

response.completed für Responses API-Streams
finish_reason: "stop" für Chat Completions-Streams
finish_reason: "length" wenn ein token-Limit erreicht wird
Tool-/Function-Call-Ereignisse, wenn das Modell Tools verwenden möchte

Web-App-Muster

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

Bewährte Praktiken

Responses streaming für neue Implementierungen bevorzugen

Verwenden Sie /v1/responses, wenn Ihr SDK oder Ihre App dies bereits unterstützt. Behalten Sie /v1/chat/completions streaming für integrationsgetriebene Kompatibilität bei.

Ausgabe inkrementell ausgeben

Hängen Sie Delta-Chunks an die UI oder das Terminal an, sobald sie eintreffen, anstatt auf die vollständige Antwort zu warten.

Verbindungsabbrüche und Wiederholungen behandeln

Behandeln Sie Netzwerkabbrüche und Upstream-Verbindungsabbrüche als normale Fehlermodi und stellen Sie bei lang laufenden Sitzungen die Verbindung sorgfältig erneut her.

Erste Schritte

Kernleitfäden

Medienleitfäden

Überblick

Empfohlen: Responses Streaming

Streaming-Grenzen für Responses und Gemini

Chat Completions-Streaming

Bedingungen für das Stream-Ende

Web-App-Muster

Bewährte Praktiken

​Überblick

​Empfohlen: Responses Streaming

​Streaming-Grenzen für Responses und Gemini

​Chat Completions-Streaming

​Bedingungen für das Stream-Ende

​Web-App-Muster

​Bewährte Praktiken

Überblick

Empfohlen: Responses Streaming

Streaming-Grenzen für Responses und Gemini

Chat Completions-Streaming

Bedingungen für das Stream-Ende

Web-App-Muster

Bewährte Praktiken