Streaming
Con "stream": true la respuesta llega como eventos SSE (text/event-stream) a medida que el modelo escribe, en los dos formatos: los eventos son los de OpenAI en /v1/chat/completions y los de Anthropic en /v1/messages. Las cabeceras de Quipua (x-ci-model-served, x-request-id…) llegan al principio, con la respuesta.
from openai import OpenAI
client = OpenAI(base_url="https://api.quipua.com/v1", api_key="ci_live_xxx")
stream = client.chat.completions.create(
model="claude-sonnet-5",
max_tokens=500,
stream=True,
messages=[{"role": "user", "content": "Escribe un poema corto sobre Cartagena"}],
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage: # último evento: el uso de la petición
print("\n", chunk.usage)import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.quipua.com/v1", apiKey: "ci_live_xxx" });
const stream = await client.chat.completions.create({
model: "claude-sonnet-5",
max_tokens: 500,
stream: true,
messages: [{ role: "user", content: "Escribe un poema corto sobre Cartagena" }],
});
for await (const chunk of stream) {
const text = chunk.choices[0]?.delta?.content;
if (text) process.stdout.write(text);
if (chunk.usage) console.log("\n", chunk.usage);
}curl -N https://api.quipua.com/v1/chat/completions \
-H "Authorization: Bearer ci_live_xxx" -H "Content-Type: application/json" \
-d '{"model": "claude-sonnet-5", "max_tokens": 500, "stream": true,
"messages": [{"role": "user", "content": "Escribe un poema corto sobre Cartagena"}]}'El uso llega al final
En /v1/chat/completions Quipua activa siempre stream_options.include_usage, aunque no lo pidas: el último evento antes de data: [DONE] trae usage y una lista choices vacía. Comprueba que choices tenga elementos antes de leer choices[0] (como en los ejemplos).
En /v1/messages el uso llega en los eventos message_start y message_delta, como en Anthropic.
Si se corta la conexión
Si cierras la conexión a mitad (o se corta), el proveedor ya ha generado y facturado parte de la respuesta. Quipua registra lo que el proveedor informó y, si no llegó el uso final, lo estima: la entrada por el tamaño de la petición y la salida por el texto que llegó a enviarse. Para no pagar de más, ajusta max_tokens a lo que necesitas.
Con el modelo automático
Con auto, el respaldo a otro modelo sólo ocurre antes de que empiece el stream: una vez que llegan eventos, la respuesta es de ese modelo.