Caché de prompts
Cuando varias peticiones empiezan igual (las mismas instrucciones de sistema, el mismo documento, el mismo historial), el proveedor puede guardar ese prefijo en caché y cobrarlo mucho más barato en las siguientes. Con Claude, leer de caché cuesta en torno a una décima parte de la entrada normal; escribirla, algo más que la entrada (en torno a 1,25×). Los precios exactos de cada modelo están en el panel (Modelos).
Lo que Quipua hace por ti
- La memoria de la empresa y el modo ahorro van siempre delante y en el mismo orden, y con Claude se marcan como cacheables automáticamente. Todas las keys de un equipo comparten ese prefijo.
- Cada token se cobra a su precio: entrada normal, lectura de caché y escritura de caché.
Cómo aprovecharla
- Lo fijo, primero. Pon al principio lo que no cambia (instrucciones, ejemplos, documentos de referencia) y al final lo que cambia (la pregunta del usuario). La caché funciona por prefijo: un solo carácter distinto al principio invalida todo lo que viene detrás.
- No metas datos variables en el sistema, como la fecha y hora exactas o un identificador de petición. Si los necesitas, ponlos en el último mensaje.
- Marca el final del prefijo con Claude. Los modelos de Claude sólo cachean lo que se marca con
cache_control. Añádelo al último bloque que quieras cachear (puedes usar hasta cuatro marcas por petición, y la memoria de la empresa ya usa una cuando está activa). - Reutiliza pronto. La caché caduca tras unos minutos sin uso (unos 5 en Claude). Sirve sobre todo para conversaciones y procesos que repiten el mismo contexto seguido.
- Por debajo de un tamaño mínimo de prefijo (que depende del modelo) el proveedor no cachea; no pasa nada, simplemente se cobra como entrada normal.
from anthropic import Anthropic
client = Anthropic(base_url="https://api.quipua.com", api_key="ci_live_xxx")
manual = open("manual_de_producto.md").read() # documento largo que se repite
r = client.messages.create(
model="claude-sonnet-5",
max_tokens=500,
system=[
{"type": "text", "text": "Responde con base en el manual."},
{"type": "text", "text": manual, "cache_control": {"type": "ephemeral"}},
],
messages=[{"role": "user", "content": "¿Cuál es la garantía del modelo X?"}],
)
print(r.usage.cache_creation_input_tokens, r.usage.cache_read_input_tokens)from openai import OpenAI
client = OpenAI(base_url="https://api.quipua.com/v1", api_key="ci_live_xxx")
manual = open("manual_de_producto.md").read()
r = client.chat.completions.create(
model="claude-sonnet-5",
max_tokens=500,
messages=[
{"role": "system", "content": [
{"type": "text", "text": "Responde con base en el manual."},
{"type": "text", "text": manual, "cache_control": {"type": "ephemeral"}},
]},
{"role": "user", "content": "¿Cuál es la garantía del modelo X?"},
],
)
print(r.usage.prompt_tokens, r.usage.prompt_tokens_details)curl https://api.quipua.com/v1/messages \
-H "x-api-key: ci_live_xxx" -H "Content-Type: application/json" \
-d '{
"model": "claude-sonnet-5",
"max_tokens": 500,
"system": [
{"type": "text", "text": "Responde con base en el manual."},
{"type": "text", "text": "…texto largo del manual…", "cache_control": {"type": "ephemeral"}}
],
"messages": [{"role": "user", "content": "¿Cuál es la garantía del modelo X?"}]
}'Leer los tokens de caché en usage
Los dos formatos los cuentan de forma distinta:
| Formato | Entrada total | Leído de caché | Escrito en caché |
|---|---|---|---|
/v1/chat/completions (OpenAI) | prompt_tokens incluye la caché | prompt_tokens_details.cached_tokens (y cache_read_input_tokens con Claude) | cache_creation_input_tokens (Claude) |
/v1/messages (Anthropic) | input_tokens no incluye la caché | cache_read_input_tokens | cache_creation_input_tokens |
Quipua cobra la entrada sin caché a precio de entrada, lo leído a precio de lectura y lo escrito a precio de escritura. En el panel, Eficiencia muestra cuánto te ha ahorrado la caché cada mes.