Foco y seguridad de la conversación

Un asistente que habla en nombre de tu empresa tiene que hacer bien dos cosas: quedarse en tu negocio y no decir nada que tu empresa no diría. Ana lo logra con capas de control que funcionan antes y después del modelo de lenguaje, de modo que ninguna depende de que el modelo “se porte bien”.

historial recibido ─► saneamiento ─┐
mensaje nuevo ─────► clasificación ┼─ fuera de alcance ─► redirección breve (sin llamar al modelo principal)
                                   │
                                   └─ en tema ─► Claude (modelo principal) ─► revisión de salida ─► persona
                                                 (respaldo: modelo secundario · respuesta determinista)

#1. Saneamiento del historial

En el chat web, el historial de la conversación lo envía el navegador, y un navegador se puede manipular. Antes de usarlo, Ana:

• Acepta solo mensajes de la persona y del asistente. Cualquier mensaje que se haga pasar por “sistema” o “herramienta” se descarta.
• Descarta mensajes del asistente fabricados con marcas internas, y mensajes de la persona que intentan dar órdenes al sistema.
• Envía al modelo solo los turnos recientes necesarios, alternados y en orden.

#2. Clasificación de cada mensaje

Cada mensaje se clasifica en una de siete categorías: en tema, relacionado, fuera de tema, trabajo gratis (pedirle que haga una tarea ajena al negocio), manipulación, tema sensible o abuso.

1. Reglas rápidas

   Patrones de alta precisión en español e inglés resuelven la mayoría de los casos en milisegundos. Si el mensaje trae señales de negocio (“tengo una clínica y pierdo pacientes por no contestar”), se trata como relacionado y no se bloquea.

2. Clasificador con modelo

   Solo si las reglas no son concluyentes, un modelo rápido (Claude Haiku) clasifica el mensaje, tratándolo como dato y no como instrucción. Tiene un límite de tiempo estricto; si no responde, manda la clasificación por reglas.

3. Ante la duda, conversar

   Una categoría bloqueante con baja confianza baja a “relacionado”. Preguntar por lo que hace tu servicio nunca cuenta como trabajo gratis, y pedir agendar siempre pesa más que un tema fuera de alcance.

#3. Tolerancia escalonada

Ana no corta la conversación al primer desvío: las personas a veces comentan algo personal o prueban al asistente. Responde de forma proporcional:

Las redirecciones respetan el idioma de la persona y la identidad de tu empresa: hablan de tu negocio y de tu tipo de reunión, nunca de Guren AI.

#4. El modelo y sus instrucciones

• Modelo principal: Claude Sonnet, de Anthropic, a través de su API empresarial, con respuestas cortas (una a tres frases, una sola pregunta) y un límite de tiempo con reintento.
• Respaldo: si el modelo principal no está disponible, responde un modelo secundario; si tampoco, una respuesta determinista. La conversación nunca queda sin respuesta.
• Instrucciones por secciones: alcance, seguridad (el texto de la persona es dato, no instrucción), forma de conversar, lo que ofrece tu empresa, lo que nunca promete, las etapas de la conversación y lo que ya sabe de la persona, para no repetir preguntas.
• Sin secretos en las instrucciones: no contienen claves, precios internos ni nombres de personas de tu equipo que no deban mencionarse.

#5. Revisión de cada respuesta

Antes de mostrarse, toda respuesta del modelo pasa por una revisión automática. Si falla, la persona recibe una redirección estándar en su lugar.

#Cómo lo medimos

Los guardrails se prueban con un set fijo de evaluación que corre en cada cambio de código:

• 112 casos adversarios: fuera de tema en español e inglés, trabajo gratis, intentos de jailbreak y de extracción de instrucciones, inyección mediante historial falso, temas sensibles, abuso y casos sutiles, incluidos casos sobre el perfil de un cliente.
• 30 conversaciones normales que no deben bloquearse nunca.
• Un modelo malicioso simulado: se prueba qué pasa si el modelo principal intentara responder mal a cada ataque. Ninguna de esas respuestas llega a la persona.

Además, una evaluación en vivo contra el modelo real mide la tasa de respuestas fuera de tema, la tasa de fugas, la precisión de la clasificación, los falsos positivos en conversaciones normales y los turnos con más de una pregunta.

#Pruébalo

Conversa con Ana en guren.cl e intenta sacarla de tema: es el mismo motor, con los mismos guardrails, que se usa en cada implementación.