nullius: ensayos de aceptación de IA
Compruebe, antes de lanzarlo, si su asistente de IA se equivoca en lo que importa. Ensayos independientes de aceptación contra criterios firmados de antemano, con un informe fechado y firmado.
nullius: ensayos independientes de aceptación para asistentes de IA y sistemas que responden con sus documentos, de Yago Mendoza, en Barcelona.
Ponga a prueba su asistente de IA antes de lanzarlo. Para empresas que van a poner en uso un asistente o un buscador de IA que responde con sus documentos. Compruebo con preguntas reales de su trabajo si se equivoca en lo que importa, y le entrego un informe firmado con cada error y su prueba.
El ensayo se adapta a la plataforma que ya usa. El ensayo trata su asistente como lo ve un usuario: le hace preguntas y lee lo que responde. Por eso no importa qué modelo lo mueva ni con qué herramientas esté montado, y no hace falta tocarlo. Para conectarlo basta con un acceso de prueba, sea una API o la misma pantalla que usa su equipo. Con los tres modelos marcados ya hice el mismo ensayo de demostración.
- Claude (ya ensayado)
- Mistral (ya ensayado)
- Qwen (ya ensayado)
- Azure OpenAI
- AWS Bedrock
- Google Vertex AI
- LangChain
- LlamaIndex
- Ollama y modelos locales
Nombres citados solo para indicar compatibilidad. Las marcas son de sus titulares, sin relación comercial.
Encargos con precio cerrado:
- Diagnóstico técnico, 650 € más IVA, una semana. Para decidir con criterio antes de gastar más: por ejemplo, si aceptar la entrega de un integrador o si hace falta un ensayo completo.
- Comparativa, 3.900 € más IVA, cinco semanas. Para elegir entre dos configuraciones o dos proveedores con las mismas preguntas, en lugar de fiarse de las demostraciones de cada uno.
- Ensayo de aceptación, 5.500 € más IVA, siete semanas desde que las preguntas de prueba y el acceso están listos. Para comprobar, antes de darlo por bueno, si el asistente se equivoca en lo que importa, con un resultado que puede enseñar a su dirección o a su comité.
Sectores:
- Sanidad: Dosis, alergias, protocolos y avisos, antes de que una respuesta llegue a un profesional o a un paciente.
- Farmacia y ciencias de la vida: Fichas técnicas, procedimientos normalizados y documentación regulatoria, citados al pie de la letra.
- Despachos y asesorías: Cláusulas, plazos y jurisprudencia, sin una sola referencia inventada.
- Banca y seguros: Condiciones, coberturas, límites y comisiones, explicados igual que en el contrato.
- Industria: Manuales, partes de turno y procedimientos de mantenimiento, también los del peor día.
- Energía y servicios públicos: Normativa técnica, tarifas e incidencias, con la versión vigente de cada documento.
- Ingeniería y construcción: Normas, pliegos y especificaciones, sin confundir una edición con la anterior.
- Logística y transporte: Pedidos, rutas, aduanas y plazos, de punta a punta.
- Comercio y atención al cliente: Devoluciones, garantías y promociones, con la política que está en vigor hoy.
- Administración pública: Trámites y normas que se pueden explicar a cualquier ciudadano, con su fuente.
- Educación: Normativas académicas, plazos y guías docentes, sin inventar requisitos.
- Consultoras e integradores: Un ensayo independiente que acompaña su entrega al cliente final.
Un ensayo real de demostración, del 2026-11-14: 98 preguntas a un asistente sobre el reglamento de baja tensión. Resultado: desfavorable. Falla en seis preguntas graves, donde lo pactado era no fallar ninguna.
No es una certificación ni una evaluación de la conformidad del Reglamento (UE) 2024/1689.