Un assaig real d’acceptació d’IA, de principi a fi

98 preguntes a un assistent sobre el reglament de baixa tensió, els criteris pactats per endavant, els sis errors greus i l’informe signat.


Un assaig real, de principi a fi. Un assistent sobre el reglament de baixa tensió, assajat el 2026-11-14. El vaig muntar jo per a aquesta demostració amb un model obert en local, així que no és el sistema de cap client. Resultat: desfavorable. Quatre dels sis criteris no es compleixen, entre els quals el d’errors greus, en què el pactat era zero.

Criteris:

Els errors en preguntes crítiques:

Abans de canviar de model, corregir com es llegeixen les taules del document i afegir una comprovació de premisses. Després, repetir l’assaig amb els mateixos casos.