¿Cómo medir si un agente de IA acierta en las decisiones de tu ecommerce?

Para medir si un agente de IA acierta necesitas que, antes de ejecutar nada, deje por escrito tres cosas: qué va a cambiar, qué resultado espera y en qué plazo se comprueba. Después comparas ese pronóstico con lo que realmente pasó (normalmente a 15 días) y calculas su tasa de acierto acumulada, no la sensación de una semana buena. Sin predicción previa y sin registro de decisiones no estás evaluando al agente: estás mirando la evolución de tu cuenta y atribuyéndosela.

Qué significa exactamente "acertar" en un agente de IA

La confusión habitual es evaluar al agente por el resultado global del negocio. Si la cuenta sube, el agente es bueno; si baja, es malo. Eso no sirve: tu facturación depende de estacionalidad, competencia, stock, precios y diez cosas más que el agente no controla.

Un agente acierta cuando se cumplen a la vez estas tres condiciones:

1. La decisión era la correcta dado el contexto disponible. Con los datos que había encima de la mesa, esa era una acción defendible.
2. El resultado real está dentro del rango que predijo. Si dijo "esto debería subir el ROAS de este conjunto de anuncios" y bajó, falló, aunque la cuenta global haya crecido.
3. El efecto es atribuible a la acción, no a un cambio externo que ocurrió a la vez.

Las tres son medibles, pero solo si el agente verbaliza su hipótesis antes de actuar. Esa es la diferencia entre un sistema auditable y una caja negra. Si quieres el contexto completo de cómo se reparten el trabajo varios agentes en una tienda, lo explicamos en la guía sobre agentes de IA para marketing en ecommerce.

Qué se registra de cada decisión: la ficha mínima

Cada acción propuesta debería generar un registro con los mismos campos siempre. Esto es lo que convierte "la IA hizo cosas" en algo que puedes auditar meses después.

Una regla que ahorra discusiones: una acción, una métrica principal. Si una propuesta promete mejorar el ROAS, bajar el CPA y subir el AOV a la vez, siempre acertará en algo y nunca sabrás si funcionó.

Hipótesis mal escritas vs. bien escritas

• Mal: "optimizar las campañas de prospecting".
• Bien: "pausar el conjunto X, cuyo gasto de los últimos 14 días no ha generado ventas, y mover ese presupuesto al conjunto Y; espero que el CPA de la campaña baje y que el volumen de pedidos no caiga; se revisa el día 15".

La segunda se puede declarar acertada o fallida sin margen de interpretación. La primera, no.

Por qué nada se ejecuta sin aprobación humana

El humano en el bucle no es un freno de mano por desconfianza: es lo que hace medible al sistema. Cuando una persona aprueba, modifica o rechaza cada propuesta, pasan tres cosas útiles.

Primero, el agente aporta contexto que no está en los datos. Un agente de Meta Ads no sabe que la semana que viene entra una campaña de marca, que ese producto se va a descatalogar o que el proveedor va con retraso. El rechazo humano con motivo registrado es, de hecho, una de las señales de mejora más valiosas.

Segundo, acota el coste del error. Un agente equivocado con autonomía total puede quemar presupuesto durante días antes de que alguien lo vea. Con aprobación previa, el peor escenario es una propuesta mala que se descarta en treinta segundos.

Tercero, crea responsabilidad. Si cada acción tiene un aprobador con nombre, nadie puede decir después "lo hizo la IA". Hasta dónde conviene aflojar ese control lo tratamos en detalle en el artículo sobre agentes autónomos.

Tres niveles de autonomía razonables

• Nivel 1 – Solo propone. Todo pasa por aprobación. Es donde empieza cualquier implantación seria.
• Nivel 2 – Autonomía acotada. Acciones reversibles y de bajo riesgo (pausar un anuncio sin ventas, enviar un recordatorio de carrito) se ejecutan solas dentro de límites definidos; el resto se aprueba.
• Nivel 3 – Autonomía amplia con auditoría. Solo para tipos de decisión en los que el agente ya tiene un histórico de acierto demostrado, con alertas y reversión automática.

Se sube de nivel por evidencia, no por entusiasmo. Si un tipo de decisión concreto lleva meses acertando, puede pasar a nivel 2; si falla, vuelve atrás.

La comprobación a 15 días: cómo verificar contra lo prometido

Quince días es un plazo cómodo para la mayoría de decisiones de un ecommerce: suficiente para acumular datos tras la fase de aprendizaje de las plataformas y corto para corregir antes de que el daño sea caro. Para decisiones de email o stock puede ser menos; para cambios estructurales de cuenta, más.

El proceso de verificación tiene cuatro pasos:

1. Recuperar la ficha original. Se lee la hipótesis tal y como se escribió, sin reinterpretarla.
2. Medir la métrica principal en la misma ventana y con la misma definición de antes. Si cambias de modelo de atribución a mitad, la comparación no vale.
3. Comparar con el contrafactual. ¿Qué habría pasado sin la acción? Es la parte difícil y donde más gente hace trampa.
4. Clasificar: acierto, fallo, o no concluyente (datos insuficientes). La categoría "no concluyente" es obligatoria; sin ella, todo se redondea hacia el acierto.

Cómo estimar el contrafactual sin volverte loco

El estándar de oro son los tests de incrementalidad (holdouts, tests geográficos, grupos de control en email). No siempre se pueden hacer, sobre todo con volúmenes pequeños. Alternativas razonables, de más a menos fiable:

• Grupo de control: en email y CRM es sencillo y casi gratis; deja un porcentaje de la lista sin recibir el flujo.
• Comparación con el resto de la cuenta: si el conjunto tocado mejora y los no tocados se mantienen planos, hay señal.
• Comparación antes/después con ajuste estacional: la más débil. Úsala solo para decisiones pequeñas y asúmelo al declarar el resultado.

Un agente honesto debe decir cuándo no puede demostrar el efecto. Aquí ayuda tener un especialista dedicado a cruzar datos de distintas fuentes, como explicamos en agentes de IA para análisis de datos.

Las cinco métricas que evalúan al agente (no a la campaña)

Más allá del resultado de cada acción, estas son las que te dicen si el sistema merece seguir en tu operación:

• Tasa de acierto por tipo de decisión. Agregada no sirve de nada. Un agente puede ser excelente pausando creativos y pésimo subiendo presupuestos.
• Calibración. De todo lo que prometió como "impacto alto", ¿cuánto lo fue de verdad? Un agente que exagera sistemáticamente es inservible para priorizar.
• Tasa de aprobación humana. Si apruebas casi todo sin leer, el control es ficticio. Si rechazas casi todo, el agente no entiende tu negocio.
• Tasa de reversión. Cuántas acciones hubo que deshacer. Es la métrica de riesgo real.
• Impacto acumulado en euros sobre margen, no sobre facturación. Una acción que sube ingresos y hunde el margen no es un acierto; el cruce de publicidad y rentabilidad lo cubren los agentes de IA de finanzas.

En una tienda de ejemplo con margen bruto del 35 %, una acción que sube la facturación un 10 % mientras el coste publicitario crece un 20 % puede ser, en euros, una pérdida. Por eso la métrica de éxito se fija antes y en términos de margen siempre que sea posible.

Errores que invalidan la medición

• Cambiar la métrica a posteriori para que el resultado cuadre.
• Lanzar cinco acciones a la vez sobre la misma campaña: ninguna será atribuible.
• Evaluar en caliente, a las 48 horas, cuando la plataforma aún está aprendiendo.
• No registrar los rechazos. Los "no" humanos son datos de entrenamiento del proceso.
• Medir solo los éxitos. Si las fichas fallidas desaparecen del registro, tu tasa de acierto es una ficción.

Cómo montarlo en tu tienda, paso a paso

1. Define 5–10 tipos de decisión recurrentes (pausar creativo, subir puja, reactivar flujo de carrito, repriorizar stock…).
2. Para cada tipo, fija su métrica principal, su ventana de comprobación y su umbral de éxito.
3. Exige ficha de decisión completa antes de cualquier ejecución, con aprobador humano.
4. Programa la revisión a 15 días como tarea fija, no como buena intención.
5. Revisa mensualmente la tasa de acierto por tipo y decide qué sube de nivel de autonomía y qué baja.

Este es exactamente el funcionamiento de la oficina de agentes de Growth AI: especialistas por canal (Meta Ads, Google Ads, TikTok Ads, Email y CRM, Producto y Stock, Creativos, Finanzas) coordinados por un CMO de IA que prioriza las propuestas por impacto en euros, nada se ejecuta sin tu aprobación y cada acción se comprueba a los 15 días contra lo que prometió. Si estás decidiendo entre montarlo tú o contratarlo ya hecho, te puede servir la comparativa sobre crear agentes de IA para empresas o contratarlos.

¿Quieres ver cómo quedaría ese registro de decisiones en tu cuenta? Echa un vistazo a la oficina de agentes de Growth AI y comprueba qué propondría cada especialista sobre tus datos antes de aprobar nada.