Caché de prompts

Cuando varias peticiones empiezan igual (las mismas instrucciones de sistema, el mismo documento, el mismo historial), el proveedor puede guardar ese prefijo en caché y cobrarlo mucho más barato en las siguientes. Con Claude, leer de caché cuesta en torno a una décima parte de la entrada normal; escribirla, algo más que la entrada (en torno a 1,25×). Los precios exactos de cada modelo están en el panel (Modelos).

Lo que Quipua hace por ti

  • La memoria de la empresa y el modo ahorro van siempre delante y en el mismo orden, y con Claude se marcan como cacheables automáticamente. Todas las keys de un equipo comparten ese prefijo.
  • Cada token se cobra a su precio: entrada normal, lectura de caché y escritura de caché.

Cómo aprovecharla

  1. Lo fijo, primero. Pon al principio lo que no cambia (instrucciones, ejemplos, documentos de referencia) y al final lo que cambia (la pregunta del usuario). La caché funciona por prefijo: un solo carácter distinto al principio invalida todo lo que viene detrás.
  2. No metas datos variables en el sistema, como la fecha y hora exactas o un identificador de petición. Si los necesitas, ponlos en el último mensaje.
  3. Marca el final del prefijo con Claude. Los modelos de Claude sólo cachean lo que se marca con cache_control. Añádelo al último bloque que quieras cachear (puedes usar hasta cuatro marcas por petición, y la memoria de la empresa ya usa una cuando está activa).
  4. Reutiliza pronto. La caché caduca tras unos minutos sin uso (unos 5 en Claude). Sirve sobre todo para conversaciones y procesos que repiten el mismo contexto seguido.
  5. Por debajo de un tamaño mínimo de prefijo (que depende del modelo) el proveedor no cachea; no pasa nada, simplemente se cobra como entrada normal.
from anthropic import Anthropic

client = Anthropic(base_url="https://api.quipua.com", api_key="ci_live_xxx")
manual = open("manual_de_producto.md").read()  # documento largo que se repite

r = client.messages.create(
    model="claude-sonnet-5",
    max_tokens=500,
    system=[
        {"type": "text", "text": "Responde con base en el manual."},
        {"type": "text", "text": manual, "cache_control": {"type": "ephemeral"}},
    ],
    messages=[{"role": "user", "content": "¿Cuál es la garantía del modelo X?"}],
)
print(r.usage.cache_creation_input_tokens, r.usage.cache_read_input_tokens)
from openai import OpenAI

client = OpenAI(base_url="https://api.quipua.com/v1", api_key="ci_live_xxx")
manual = open("manual_de_producto.md").read()

r = client.chat.completions.create(
    model="claude-sonnet-5",
    max_tokens=500,
    messages=[
        {"role": "system", "content": [
            {"type": "text", "text": "Responde con base en el manual."},
            {"type": "text", "text": manual, "cache_control": {"type": "ephemeral"}},
        ]},
        {"role": "user", "content": "¿Cuál es la garantía del modelo X?"},
    ],
)
print(r.usage.prompt_tokens, r.usage.prompt_tokens_details)
curl https://api.quipua.com/v1/messages \
  -H "x-api-key: ci_live_xxx" -H "Content-Type: application/json" \
  -d '{
    "model": "claude-sonnet-5",
    "max_tokens": 500,
    "system": [
      {"type": "text", "text": "Responde con base en el manual."},
      {"type": "text", "text": "…texto largo del manual…", "cache_control": {"type": "ephemeral"}}
    ],
    "messages": [{"role": "user", "content": "¿Cuál es la garantía del modelo X?"}]
  }'

Leer los tokens de caché en usage

Los dos formatos los cuentan de forma distinta:

FormatoEntrada totalLeído de cachéEscrito en caché
/v1/chat/completions (OpenAI)prompt_tokens incluye la cachéprompt_tokens_details.cached_tokens (y cache_read_input_tokens con Claude)cache_creation_input_tokens (Claude)
/v1/messages (Anthropic)input_tokens no incluye la cachécache_read_input_tokenscache_creation_input_tokens

Quipua cobra la entrada sin caché a precio de entrada, lo leído a precio de lectura y lo escrito a precio de escritura. En el panel, Eficiencia muestra cuánto te ha ahorrado la caché cada mes.