Streaming

Descripción general

El streaming entrega la salida de forma incremental. Usa Responses streaming cuando el modelo anuncia un contrato Responses nativo y existe una ruta upstream del mismo protocolo; en caso contrario, usa Chat Completions o el protocolo nativo que publique el modelo.

Recomendado: Responses Streaming

curl https://api.tokenlab.sh/v1/responses \
  -H "Authorization: Bearer sk-your-api-key" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-5.4",
    "input": "Write a short poem.",
    "stream": true
  }'

from openai import OpenAI

client = OpenAI(
    api_key="sk-your-api-key",
    base_url="https://api.tokenlab.sh/v1"
)

stream = client.responses.create(
    model="gpt-5.4",
    input="Write a short poem.",
    stream=True
)

for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)

import OpenAI from 'openai';

const client = new OpenAI({
  apiKey: 'sk-your-api-key',
  baseURL: 'https://api.tokenlab.sh/v1'
});

const stream = await client.responses.create({
  model: 'gpt-5.4',
  input: 'Write a short poem.',
  stream: true
});

for await (const event of stream) {
  if (event.type === 'response.output_text.delta') {
    process.stdout.write(event.delta);
  }
}

Límites de streaming de Responses y Gemini

En Responses SSE, TokenLab conserva los nombres, el orden y los campos de los eventos upstream y lee usage y el estado terminal fuera de banda, sin cambiar el wire. Después del primer evento entregado no prueba otro canal ni otra credencial. Responses WebSocket acepta solo eventos oficiales response.create. Stream es implícito; background y response.cancel no se ofrecen en este transporte, y background funciona solo por HTTP. Cada conexión es serial, no admite multiplexing y tiene un límite de 60 minutos. Gemini SSE conserva fragmentos nativos. Son válidos los eventos solo de metadatos, los fragmentos intermedios sin finishReason y el EOF natural; TokenLab no añade un marcador Chat [DONE].

Streaming de Chat Completions

Si tu framework aún espera fragmentos SSE de /v1/chat/completions, eso también funciona:

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Write a short poem"}],
    stream=True
)

for chunk in stream:
    content = chunk.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

Condiciones de finalización del stream

Condiciones típicas de finalización:

response.completed para streams de Responses API
finish_reason: "stop" para streams de Chat Completions
finish_reason: "length" cuando se alcanza un límite de token
eventos de llamada a tool/function cuando el modelo quiere usar herramientas

Patrón para aplicaciones web

async function streamChat(message) {
  const response = await fetch('https://api.tokenlab.sh/v1/chat/completions', {
    method: 'POST',
    headers: {
      'Authorization': 'Bearer sk-your-api-key',
      'Content-Type': 'application/json'
    },
    body: JSON.stringify({
      model: 'gpt-4o',
      messages: [{ role: 'user', content: message }],
      stream: true
    })
  });

  const reader = response.body.getReader();
  const decoder = new TextDecoder();

  while (true) {
    const { done, value } = await reader.read();
    if (done) break;

    const chunk = decoder.decode(value);
    const lines = chunk.split('\\n').filter(line => line.startsWith('data: '));

    for (const line of lines) {
      const data = line.slice(6);
      if (data === '[DONE]') return;
      const parsed = JSON.parse(data);
      const content = parsed.choices?.[0]?.delta?.content;
      if (content) {
        document.getElementById('output').textContent += content;
      }
    }
  }
}

Mejores prácticas

Prioriza Responses streaming para desarrollos nuevos

Usa /v1/responses si tu SDK o aplicación ya lo admite. Mantén el streaming de /v1/chat/completions para integraciones impulsadas por compatibilidad.

Vacía la salida de forma incremental

Agrega fragmentos delta a la UI o al terminal a medida que llegan en lugar de esperar la respuesta completa.

Gestiona desconexiones y reintentos

Trata las caídas de red y las desconexiones del upstream como modos de fallo normales y vuelve a conectar con cuidado en sesiones de larga duración.

Primeros pasos

Guías principales

Guías de medios

Descripción general

Recomendado: Responses Streaming

Límites de streaming de Responses y Gemini

Streaming de Chat Completions

Condiciones de finalización del stream

Patrón para aplicaciones web

Mejores prácticas

​Descripción general

​Recomendado: Responses Streaming

​Límites de streaming de Responses y Gemini

​Streaming de Chat Completions

​Condiciones de finalización del stream

​Patrón para aplicaciones web

​Mejores prácticas

Descripción general

Recomendado: Responses Streaming

Límites de streaming de Responses y Gemini

Streaming de Chat Completions

Condiciones de finalización del stream

Patrón para aplicaciones web

Mejores prácticas