Streaming

Vue d’ensemble

Le streaming livre la sortie progressivement. Utilisez le streaming Responses lorsque le modèle annonce un contrat Responses natif et qu’une route upstream du même protocole est disponible ; sinon, utilisez Chat Completions ou le protocole natif publié par le modèle.

Recommandé : streaming Responses

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Limites de streaming Responses et Gemini

Pour Responses SSE, TokenLab conserve les noms, l’ordre et les champs des événements upstream et lit usage ainsi que l’état terminal hors bande, sans modifier le wire. Après le premier événement livré, aucun autre canal ni credential n’est essayé. Responses WebSocket n’accepte que les événements officiels response.create. Stream est implicite ; background et response.cancel ne sont pas proposés sur ce transport, et background fonctionne uniquement en HTTP. Chaque connexion est sérielle, sans multiplexage, et limitée à 60 minutes. Gemini SSE conserve les chunks natifs. Les événements contenant uniquement des métadonnées, les chunks intermédiaires sans finishReason et une fin EOF naturelle sont valides ; TokenLab n’ajoute aucun marqueur Chat [DONE].

Streaming Chat Completions

Si votre framework attend encore des chunks SSE provenant de /v1/chat/completions, cela fonctionne également :

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Conditions de fin du stream

Conditions de fin typiques :

response.completed pour les streams de l’API Responses
finish_reason: "stop" pour les streams Chat Completions
finish_reason: "length" lorsqu’une limite de token est atteinte
événements d’appel d’outil/de fonction lorsque le modèle souhaite utiliser des outils

Modèle pour application web

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

Bonnes pratiques

Privilégier le streaming Responses pour les nouvelles implémentations

Utilisez /v1/responses si votre SDK ou votre application le prend déjà en charge. Réservez le streaming /v1/chat/completions aux intégrations motivées par la compatibilité.

Vider la sortie progressivement

Ajoutez les chunks delta à l’interface utilisateur ou au terminal au fur et à mesure de leur arrivée plutôt que d’attendre la réponse complète.

Gérer les déconnexions et les nouvelles tentatives

Considérez les coupures réseau et les déconnexions en amont comme des modes de défaillance normaux et reconnectez-vous avec précaution pour les sessions de longue durée.

Démarrage

Guides essentiels

Guides médias

Vue d’ensemble

Recommandé : streaming Responses

Limites de streaming Responses et Gemini

Streaming Chat Completions

Conditions de fin du stream

Modèle pour application web

Bonnes pratiques

​Vue d’ensemble

​Recommandé : streaming Responses

​Limites de streaming Responses et Gemini

​Streaming Chat Completions

​Conditions de fin du stream

​Modèle pour application web

​Bonnes pratiques

Vue d’ensemble

Recommandé : streaming Responses

Limites de streaming Responses et Gemini

Streaming Chat Completions

Conditions de fin du stream

Modèle pour application web

Bonnes pratiques