Ventana de contexto y tokens: por qué tu agente IA se queda sin memoria (y cuánto te cuesta)

Este artículo forma parte de la serie Capacitaciones IThreex: contenido derivado de las formaciones internas que damos a nuestro equipo de ingeniería e implementación de agentes IA sobre la plataforma ABLE.

Todo comparte el mismo presupuesto

La confusión más común sobre el costo de un agente IA es pensar que se paga por la pregunta. No es así. En cada llamada al modelo viaja el paquete completo:

• System prompt (íntegro, cada vez)
• Contexto recuperado por RAG o por MCP
• Definición de todas las tools disponibles para el agente
• Historial completo de la sesión
• Mensaje del usuario

Todo eso se mide en tokens y consume el mismo presupuesto. Si tienes diez créditos, esos diez créditos cubren el paquete entero — no solo la consulta.

El síntoma: "se me llenó el contexto"

Quien trabaja con asistentes de código lo vive a diario: en una sesión larga, en algún momento el asistente empieza a perder hilo, a olvidar decisiones tomadas antes o directamente a avisar que se quedó sin contexto. Lo mismo pasa con un agente de negocio que acumula cincuenta intercambios sobre temas distintos.

Y hay un efecto secundario que casi nadie mide: el contenido irrelevante no solo cuesta, también hace ruido. Si en una sesión primero se le preguntó al agente qué puede hacer y después se le pide que redacte una especificación técnica, la primera respuesta sigue viajando al modelo en cada turno, ocupando presupuesto y compitiendo por atención.

Reglas prácticas para no quemar contexto

1. Una sesión, un tema

Cambiar de tarea significa abrir sesión nueva. Es la medida con mejor relación esfuerzo/impacto.

2. Consolidar reglas en el system prompt

Cinco instrucciones que dicen lo mismo con distintas palabras cuestan cinco veces y confunden. Una regla conceptual bien escrita las reemplaza.

3. Dimensionar bien el RAG

Chunks demasiado grandes traen ruido; demasiado chicos, fragmentos sin sentido. El tamaño de chunk y el solapamiento son parámetros de costo, no solo de calidad.

4. Limitar las tools activas

Cada tool declarada ocupa contexto aunque nunca se use. Un agente con veinte herramientas paga veinte descripciones en cada consulta.

5. Higiene de la base de conocimiento

Documentación duplicada, versiones viejas y PDFs escaneados sin limpiar inflan el contexto recuperado sin aportar precisión.

Por qué esto importa al escalar

Con un agente y diez usuarios, el desperdicio de contexto es invisible. Con quince agentes y varios miles de conversaciones mensuales, es una línea concreta del presupuesto. Por eso en ABLE la observabilidad por agente —consumo de créditos, interacciones, tiempos de respuesta— es parte del producto y no un extra: sin medición, la optimización es adivinanza.