nullius : tests d’acceptation de systèmes d’IA
Vérifiez, avant de le déployer, si votre assistant IA se trompe sur l’essentiel. Des tests d’acceptation indépendants, sur des critères signés à l’avance, avec un rapport daté et signé.
Tests d’acceptation indépendants pour les assistants IA et les systèmes qui répondent à partir de vos documents : nullius, par Yago Mendoza, à Barcelone.
Mettez votre assistant IA à l’épreuve avant de le déployer. Pour les entreprises sur le point de mettre en service un assistant ou un moteur de recherche IA qui répond à partir de leurs documents. Je vérifie, avec des questions réelles tirées de votre activité, s’il se trompe sur l’essentiel, et je vous remets un rapport signé qui présente chaque erreur avec sa preuve.
Le test s’adapte à la plateforme que vous utilisez déjà. Le test aborde votre assistant comme le voit un utilisateur : il lui pose des questions et lit ses réponses. Peu importe donc le modèle qui le fait tourner ou les outils avec lesquels il est construit, et il n’y a rien à y modifier. Pour le brancher, un accès de test suffit : une API, ou le même écran que celui de votre équipe. J’ai déjà mené le même test de démonstration sur les trois modèles marqués.
- Claude (déjà testé)
- Mistral (déjà testé)
- Qwen (déjà testé)
- Azure OpenAI
- AWS Bedrock
- Google Vertex AI
- LangChain
- LlamaIndex
- Ollama et modèles locaux
Noms cités uniquement pour indiquer la compatibilité. Les marques appartiennent à leurs titulaires, sans lien commercial.
Missions à prix ferme:
- Diagnostic technique, 650 € HT, une semaine. Pour décider en connaissance de cause avant d’engager d’autres dépenses : par exemple, s’il faut accepter la livraison d’un intégrateur ou si un test complet s’impose.
- Comparatif, 3 900 € HT, cinq semaines. Pour choisir entre deux configurations ou deux fournisseurs sur les mêmes questions, plutôt que de se fier à la démonstration de chacun.
- Test d’acceptation, 5 500 € HT, sept semaines à compter de la mise à disposition des questions de test et des accès. Pour vérifier, avant de le valider, si l’assistant se trompe sur l’essentiel, avec un résultat que vous pouvez présenter à votre direction ou à votre comité.
Secteurs:
- Santé: Doses, allergies, protocoles et alertes, avant qu’une réponse n’atteigne un soignant ou un patient.
- Pharmacie et sciences de la vie: RCP, modes opératoires normalisés et documentation réglementaire, cités mot pour mot.
- Cabinets d’avocats et de conseil: Clauses, délais et jurisprudence, sans une seule référence inventée.
- Banque et assurance: Conditions, garanties, plafonds et frais, expliqués exactement comme dans le contrat.
- Industrie: Manuels, relèves de poste et procédures de maintenance, y compris celles du pire jour.
- Énergie et services publics: Réglementation technique, tarifs et incidents, avec la version en vigueur de chaque document.
- Ingénierie et construction: Normes, cahiers des charges et spécifications, sans confondre une édition avec la précédente.
- Logistique et transport: Commandes, itinéraires, douanes et délais, de bout en bout.
- Commerce et service client: Retours, garanties et promotions, selon la politique en vigueur aujourd’hui.
- Administration publique: Démarches et règles que l’on peut expliquer à n’importe quel citoyen, avec leur source.
- Éducation: Règlements des études, calendriers et guides pédagogiques, sans inventer d’exigences.
- Consultants et intégrateurs: Un essai indépendant qui accompagne votre livraison au client final.
Un test de démonstration réel, du 2026-11-14 : 98 questions posées à un assistant sur la réglementation espagnole basse tension. Résultat : défavorable. Il échoue sur six questions critiques, alors que le seuil convenu était zéro.
Ce n’est ni une certification ni une évaluation de la conformité au sens du règlement (UE) 2024/1689.