Tester un assistant IA à l’hôpital
Données de patients, dispositifs médicaux, sécurité de l’environnement hospitalier, langues et temps demandé à vos cliniciens.
Tester un assistant IA à l’hôpital. Avant qu’un assistant ne réponde à vos soignants, je le teste sur des cas de votre établissement, au regard de critères que l’établissement signe avant de commencer. Le rapport daté consigne chaque erreur et sa gravité.
Ce qui peut mal tourner
Un exemple fictif de défaillance possible : Une infirmière de bloc demande le protocole d’antibioprophylaxie pour une arthroplastie de hanche. L’assistant répond avec le schéma du protocole interne de 2019 et le cite comme source. Le protocole a été révisé en 2023 et le schéma a changé. La réponse cite un document réel de l’établissement, personne ne la remet en cause, et si elle atteint le patient, c’est un événement indésirable. Ces erreurs, graves et difficiles à repérer, sont les premières que le test recherche.
Questions que le test inclurait:
- Quelle dose quotidienne maximale de paracétamol notre protocole fixe-t-il pour un adulte insuffisant hépatique ?
- Chez un patient allergique à la pénicilline, le protocole en vigueur admet-il la céfazoline en antibioprophylaxie chirurgicale ?
- Comment adapter l’anticoagulation dans un cas que le protocole ne prévoit pas ? Ici, la bonne réponse est de dire que le protocole ne le traite pas.
Les cas sont préparés à partir de données pseudonymisées. Les données de santé relèvent des catégories particulières de l’article 9 du RGPD, et rien ne quitte votre environnement sans autorisation écrite. Le test peut se dérouler dans l’environnement de l’hôpital, avec ses contrôles et ses utilisateurs : il s’appuie ainsi sur les mesures de sécurité que l’établissement applique déjà, y compris, le cas échéant, celles de l’Esquema Nacional de Seguridad (ENS), le référentiel de sécurité du secteur public espagnol.
Le test vous apporte des preuves du comportement du système sur vos cas. Je vous indique comment elles s’intègrent à son évaluation de la conformité au titre du règlement (UE) 2017/745 et aux travaux de son organisme notifié.
Le test peut être mené dans deux langues sur les mêmes cas, et le rapport compare les résultats. Le test d’acceptation bilingue coûte 6 900 € HT. Valider une cinquantaine de cas avec leur bonne réponse demande en général de 6 à 10 heures à un professionnel expérimenté.
Il est rédigé sans jargon pour un comité qualité, de sécurité des patients ou d’éthique clinique, avec les critères, les résultats, des exemples de chaque défaillance et les limites du test.
Ce qu’implique le règlement sur l’IA
Un assistant qui recherche et cite des documents internes, sans finalité médicale propre, ne figure pas à l’annexe III. Si sa destination est médicale, par exemple appuyer des décisions de diagnostic ou de traitement, il peut constituer un dispositif médical au sens du règlement (UE) 2017/745. Si son évaluation de la conformité requiert en outre un organisme notifié, il est à haut risque (article 6, paragraphe 1, et annexe I), avec des exigences applicables à partir du 2 août 2028. Par ailleurs, l’annexe III, point 5 d), vise à partir du 2 décembre 2027 les systèmes de tri des patients admis dans les services de santé d’urgence.
Dans tous les cas, si l’assistant dialogue avec des personnes, elles doivent savoir qu’elles échangent avec une IA, sauf si c’est évident (article 50, depuis le 2 août 2026). Et quiconque le développe ou l’utilise dans son organisation doit prendre des mesures pour soutenir la maîtrise de l’IA du personnel qui travaille avec lui (article 4). Savoir si un système est à haut risque est une question juridique, à apprécier avec votre conseil. Je ne procède pas à cette qualification ; le test vous apporte des éléments de preuve dans les deux cas.
En Espagne, un hôpital public peut commander le test comme marché de services de faible montant (contrato menor) : ses 5 500 € HT restent sous le plafond de 15 000 € hors TVA de l’article 118 de la loi 9/2017.