Jerarquía de contexto en un LLM: por qué el historial pesa más que tu última pregunta

Este artículo forma parte de la serie Capacitaciones IThreex: contenido derivado de las formaciones internas que damos a nuestro equipo de ingeniería e implementación de agentes IA sobre la plataforma ABLE.

El modelo no lee todo con el mismo peso

Cuando se envía una consulta a un agente, el modelo recibe un bloque enorme de información. Pero no la trata como un todo plano: hay una jerarquía de atención. De mayor a menor peso:

1. System prompt — rol, reglas de negocio, pasos de razonamiento.
2. Developer prompt — instrucciones que agrega quien desarrolla el agente por código y que nadie más ve.
3. Definición de tools — qué herramientas existen, qué parámetros aceptan.
4. Historial de la conversación — todo lo dicho antes en esa sesión.
5. Mensaje actual del usuario — la consulta que se acaba de escribir.

La consecuencia práctica: el historial gana

Este es el punto que más impacto tiene en el día a día. Si un agente respondió con un error, y en la misma sesión se le vuelve a preguntar exactamente lo mismo, la respuesta va a ser prácticamente la misma. El historial pesa más que la pregunta nueva: el modelo ya "estableció" una posición y tiende a mantenerla.

Insistir no sirve. Lo que sirve es:

• Abrir una sesión nueva y limpia.
• Reformular con contexto explícito distinto, no repetir literal.
• Si el error es sistemático, corregir el system prompt — no el mensaje.

El LLM no sabe: predice

Un modelo de lenguaje no tiene conocimiento ni criterio. Su mecánica base es predecir el próximo token con probabilidades. Los modelos actuales agregan pasos de razonamiento interno, pero eso no reemplaza definir explícitamente cómo quieres que razone.

De ahí sale una conclusión incómoda para muchos proyectos: lo que determina la calidad del resultado no es principalmente qué modelo se usa, sino el prompt y el contexto que se le entrega. Cambiar de GPT a Claude no arregla un system prompt mal diseñado.

Cómo aprovechar la jerarquía a favor

• Todo lo innegociable va en el system prompt. Es la capa de mayor peso.
• Definir los pasos de razonamiento explícitamente en el system, en vez de esperar que el modelo llegue solo.
• Controlar el historial. Sesiones temáticas, no sesiones eternas.
• Describir bien las tools. La definición de una herramienta es contexto: una descripción vaga produce llamadas erróneas.

Cómo se ve esto en ABLE

En ABLE cada agente muestra sus sesiones por separado y permite retomarlas o iniciar nuevas. Esa separación no es cosmética: es la forma práctica de controlar cuánto historial entra al contexto de cada respuesta, algo que impacta directamente en calidad y en consumo de créditos.