Cómo se hace un ensayo de aceptación de IA
Cómo se acepta un asistente de IA con el método de la industria: primero un análisis de fallos, y unos criterios firmados antes de mirar.
Cómo se hace un ensayo. El orden con que la industria acepta una máquina, aplicado a un asistente de IA: primero se analiza cómo puede fallar, y solo después se ensaya contra unos criterios ya firmados.
AMFE: qué puede fallar y cuánto importa
Empiezo con un análisis modal de fallos y efectos (AMFE) de su asistente, como se hace con una máquina antes de ponerla en servicio: qué puede salir mal y cuánto importaría cada fallo. De ahí salen las preguntas graves, que son las que cuentan primero.
Se buscan sobre todo los fallos que pasan por buenos, como una cifra cambiada o un documento que ya no está en vigor, dichos con toda seguridad.
Como en un AMFE industrial, cada modo de fallo se valora por su gravedad y por su probabilidad, y pesa más si sería difícil detectarlo antes de que haga daño. Los más graves reciben más preguntas.
En el diagnóstico, este análisis es el documento de dos páginas con sus riesgos ordenados por gravedad.
Criterios firmados antes de mirar
Con el análisis delante se acuerdan los criterios de aceptación y sus umbrales, por ejemplo ningún error grave y al menos un 85 % de respuestas correctas. Usted los firma antes de que se ejecute una sola pregunta.
El archivo de criterios se sella con su huella SHA-256, que queda en el acta del ensayo. Si un umbral cambiara a la vista de los resultados, la huella dejaría de coincidir.
Los criterios del ensayo de demostración se fijaron el 2026-11-14, antes de ejecutarlo. Esta es su huella:
Cualquiera con el archivo puede recalcularla y comprobar que no ha cambiado. En un encargo, el conjunto de preguntas lleva también su huella en el protocolo firmado.
Ensayo FAT y SAT
En la industria, un equipo se prueba dos veces antes de aceptarlo: en el banco del fabricante, el FAT (factory acceptance test), y en la planta del cliente, el SAT (site acceptance test). Un ensayo de IA sigue la misma lógica.
El FAT es el ensayo en el banco de pruebas, sobre una versión que no cambia mientras dura, con las preguntas graves ejecutadas dos veces. El SAT repite esas mismas preguntas en su entorno real, con el banco de pruebas que se queda en su organización.
Las preguntas graves se ejecutan dos veces porque un asistente no siempre responde igual: en el ensayo de demostración, al repetirlas, 2 de las 52 cambiaron de resultado.
El ensayo de aceptación incluye el FAT completo, con hasta 120 preguntas, y una repetición de hasta diez preguntas tras la corrección.
No incluye un SAT presencial. El banco de pruebas y las instrucciones para repetir el ensayo se quedan en su organización, y su equipo hace el SAT sobre el sistema en servicio y tras cada cambio importante.
Si lo prefiere, el ensayo entero puede correr dentro de su entorno desde el principio: el FAT se hace entonces donde el asistente va a trabajar.
El informe y sus tres resultados
El informe compara lo medido con lo que usted firmó y recoge cada fallo con su prueba. Lo firmo yo, con fecha, y vale para la versión y los casos ensayados.
- Favorable: Se cumplen todos los criterios firmados.
- Desfavorable: Al menos un criterio no se cumple. El informe dice cuál y qué conviene cambiar.
- No concluyente: Lo medido no basta para decidir con las reglas firmadas, por ejemplo si la versión cambió durante el ensayo.
Su comité o su equipo jurídico pueden usarlo como prueba documentada de que el sistema se ensayó. No sustituye a la evaluación de la conformidad de la Ley de IA ni a un organismo notificado cuando sea exigible. El método toma como referencia la especificación técnica ISO/IEC TS 42119-2:2025, que aplica a la IA las normas de ensayo de software ISO/IEC/IEEE 29119. Usarla como referencia no implica conformidad ni certificación de terceros.