Streaming

Con "stream": true la respuesta llega como eventos SSE (text/event-stream) a medida que el modelo escribe, en los dos formatos: los eventos son los de OpenAI en /v1/chat/completions y los de Anthropic en /v1/messages. Las cabeceras de Quipua (x-ci-model-served, x-request-id…) llegan al principio, con la respuesta.

from openai import OpenAI

client = OpenAI(base_url="https://api.quipua.com/v1", api_key="ci_live_xxx")

stream = client.chat.completions.create(
    model="claude-sonnet-5",
    max_tokens=500,
    stream=True,
    messages=[{"role": "user", "content": "Escribe un poema corto sobre Cartagena"}],
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:  # último evento: el uso de la petición
        print("\n", chunk.usage)
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.quipua.com/v1", apiKey: "ci_live_xxx" });

const stream = await client.chat.completions.create({
  model: "claude-sonnet-5",
  max_tokens: 500,
  stream: true,
  messages: [{ role: "user", content: "Escribe un poema corto sobre Cartagena" }],
});
for await (const chunk of stream) {
  const text = chunk.choices[0]?.delta?.content;
  if (text) process.stdout.write(text);
  if (chunk.usage) console.log("\n", chunk.usage);
}
curl -N https://api.quipua.com/v1/chat/completions \
  -H "Authorization: Bearer ci_live_xxx" -H "Content-Type: application/json" \
  -d '{"model": "claude-sonnet-5", "max_tokens": 500, "stream": true,
       "messages": [{"role": "user", "content": "Escribe un poema corto sobre Cartagena"}]}'

El uso llega al final

En /v1/chat/completions Quipua activa siempre stream_options.include_usage, aunque no lo pidas: el último evento antes de data: [DONE] trae usage y una lista choices vacía. Comprueba que choices tenga elementos antes de leer choices[0] (como en los ejemplos).

En /v1/messages el uso llega en los eventos message_start y message_delta, como en Anthropic.

Si se corta la conexión

Si cierras la conexión a mitad (o se corta), el proveedor ya ha generado y facturado parte de la respuesta. Quipua registra lo que el proveedor informó y, si no llegó el uso final, lo estima: la entrada por el tamaño de la petición y la salida por el texto que llegó a enviarse. Para no pagar de más, ajusta max_tokens a lo que necesitas.

Con el modelo automático

Con auto, el respaldo a otro modelo sólo ocurre antes de que empiece el stream: una vez que llegan eventos, la respuesta es de ese modelo.