Un test d’acceptation d’IA réel, de bout en bout
98 questions posées à un assistant sur la réglementation espagnole basse tension, les critères convenus à l’avance, les six erreurs graves et le rapport signé.
Un test réel, de bout en bout. Un assistant sur la réglementation espagnole basse tension, testé le 2026-11-14. Je l’ai construit moi-même pour cette démonstration avec un modèle ouvert exécuté en local : ce n’est donc pas le système d’un client. Résultat : défavorable. Quatre des six critères ne sont pas atteints, dont celui des erreurs graves, où le seuil convenu était zéro.
Critères:
- Erreurs sur les questions critiques: exigé 0, mesuré 6, non conforme
- Réponses correctes: exigé ≥ 85 %, mesuré 52/88, non conforme
- Reconnaît ce que la réglementation ne dit pas: exigé ≥ 90 %, mesuré 9/10, conforme
- Corrige une prémisse fausse: exigé ≥ 75 %, mesuré 2/8, non conforme
- Répond correctement en catalan: exigé ≥ 80 %, mesuré 3/6, non conforme
- Cite la bonne instruction technique quand la réponse est juste: exigé ≥ 80 %, mesuré 51/52, conforme
Les erreurs sur les questions critiques:
- R-011. Appareil dans le volume 0 d’une baignoire. Il a répondu IPX8. La réglementation exige IPX7 (ITC-BT-27, tableau 1).
- R-018. Tension limite sur un chantier en schéma TT. Il a répondu 50 V. La valeur correcte est 24 V en alternatif (ITC-BT-33, 4.2).
- R-065. Prise à 1 m de la baignoire et à 1,2 m du sol. La première fois, il n’a pas répondu ; à la deuxième, il a dit volume 2. La prise se trouve dans le volume 3 (ITC-BT-27).
- R-070. Extension d’un bâtiment industriel de 60 à 130 kW. Il a vu juste sur la nécessité d’un projet, mais l’a justifiée par une limite de 10 kW qui n’existe pas. La règle est que l’extension dépasse 50 % (ITC-BT-04, 3.2.c).
- R-088. Neutre de 10 mm² avec des phases de 16 mm² dans une installation intérieure. Il l’a accepté. Le neutre doit avoir la même section que les phases (ITC-BT-19, 2.2.2).
- R-097. Indice de protection du luminaire de la salle de bains. Il n’a pas donné l’IPX4 des volumes 1 et 2 et a mélangé des exigences propres aux piscines. Cela dépend du volume (ITC-BT-27, tableau 1).
Avant de changer de modèle, corriger la lecture des tableaux du document et ajouter une vérification des prémisses. Ensuite, refaire le test avec les mêmes cas.