Explainable AI (XAI) : comment les entreprises expliquent les décisions des modèles en finance et en médecine en 2026
L’IA explicable (XAI) n’est plus un « bonus » réservé aux équipes les plus avancées. Dans la banque et la santé, les modèles influencent l’accès au crédit, la détection de fraude, la priorisation des soins et certaines décisions cliniques. Les organisations doivent donc être capables d’expliquer comment un résultat a été produit, dans quels cas le modèle peut se tromper et comment l’humain doit interpréter la sortie. En 2026, l’enjeu pratique n’est pas de choisir une seule technique d’explication, mais de construire des explications précises, reproductibles et utiles aux personnes qui portent le risque : responsables du risque, auditeurs, cliniciens et patients.
Pourquoi l’explicabilité n’a pas la même portée en finance et en médecine
La finance et la santé partagent une pression commune : une décision peut causer un tort réel si la logique est erronée, biaisée ou mal comprise. En Europe, la régulation et les orientations des autorités de contrôle traitent de plus en plus la transparence et la responsabilité comme des exigences clés pour les usages d’IA à fort impact, surtout lorsque les résultats automatisés affectent des droits, l’accès à des services ou la sécurité. Pour les organisations, cela fait passer l’explicabilité d’une fonctionnalité technique à une exigence de gouvernance : il faut démontrer que les décisions sont compréhensibles, révisables et maîtrisables.
Dans la banque, le « pourquoi » d’un score est souvent aussi important que le score lui-même. Les modèles de crédit et de fraude sont régulièrement contestés par les clients, la conformité et l’audit interne. Les explications doivent donc servir trois publics à la fois : une justification orientée client (claire et non technique), une justification orientée risque (facteurs et sensibilité) et une justification orientée audit (preuves traçables et reproductibles). Dans la pratique, les sorties d’explication sont traitées comme une partie du dossier de décision, pas comme une simple visualisation temporaire.
En médecine, l’accent se déplace de « l’équité et la non-discrimination » vers la sécurité et l’utilisabilité clinique, y compris la performance du binôme humain–IA. Un clinicien doit savoir quand un modèle a des chances d’être faux, à quoi ressemble l’incertitude et quoi faire si la sortie contredit le jugement clinique. L’explicabilité est donc liée à l’usage sûr : communiquer les limites, soutenir la relecture et éviter une confiance excessive dans un chiffre isolé.
Ce que signifie une « bonne explication » dans les organisations
Une explication utile n’est pas un classement générique de variables collé dans un rapport. De nombreuses équipes séparent les explications en trois couches. D’abord la couche décision : les facteurs spécifiques qui ont influencé ce résultat individuel (par exemple, pourquoi un prêt a été refusé ou pourquoi un examen a été signalé). Ensuite la couche modèle : ce dont le modèle dépend globalement, la stabilité de cette dépendance et les motifs qui restent cohérents dans le temps. Enfin la couche opérationnelle : les contrôles existants pour que les humains puissent contester, remplacer et investiguer les sorties.
Les bonnes explications sont aussi cohérentes. Si deux outils produisent des justifications contradictoires pour la même sortie, l’organisation y voit un problème de contrôle, pas une curiosité. Les équipes matures font une « QA des explications » en parallèle de la QA du modèle : tests de cohérence avec des facteurs connus, tests de perturbation pour vérifier que l’explication évolue de façon sensée, et contrôles de comportement proxy lorsque des attributs sensibles influencent indirectement les résultats. En santé, cette QA inclut souvent des revues structurées par des cliniciens, car une explication plausible mais trompeuse reste dangereuse.
Enfin, une bonne explication est honnête sur les limites. Les équipes finance documentent les cas d’extrapolation : nouveaux types d’emploi, revenus atypiques ou changements de comportement non présents dans les données d’entraînement. Les équipes médicales documentent les risques de non-correspondance des données : différences d’équipement, changements de protocoles, évolution des populations de patients et contraintes opérationnelles qui modifient la collecte. L’explication n’est « bonne » que si elle aide l’utilisateur à reconnaître ces frontières en situation réelle.
Méthodes utilisées en 2026 : ce qui fonctionne et ce qui échoue
La plupart des organisations considèrent la XAI comme une boîte à outils, pas comme une méthode unique. Pour les modèles tabulaires fréquents en finance, les méthodes d’attribution locales restent populaires car elles produisent une liste classée de facteurs qui ont poussé la sortie vers le haut ou vers le bas. Leur faiblesse : l’attribution n’est pas la causalité. Variables corrélées, proxys et problèmes de qualité peuvent générer des récits convaincants mais faux. C’est pourquoi les banques associent souvent l’attribution à des modèles « challengers » plus simples, aux relations plus lisibles, afin de recouper la narration.
Les explications contrefactuelles sont plus fréquentes côté client, car elles répondent à une question humaine : « Qu’est-ce qui devrait changer pour obtenir un autre résultat ? ». Bien faites, elles sont limitées à des changements réalistes et actionnables (réduire l’utilisation du crédit, corriger des impayés, fournir une pièce manquante), sans recommander des actions impossibles ou éthiquement problématiques. Mal faites, elles encouragent le contournement ou laissent croire qu’un changement garantit l’acceptation, ce qui est rarement vrai dès qu’entrent en jeu règles d’octroi, vérifications de solvabilité et contraintes de politique interne.
En médecine, les techniques d’explication dépendent souvent de la modalité. En imagerie, les surbrillances de type « saliency » peuvent aider comme indice, mais les cliniciens savent qu’elles peuvent être trompeuses si le modèle réagit à des artefacts, des étiquettes ou des zones non pertinentes. D’où une demande croissante d’explications multi-parties : un indice visuel, une confiance calibrée, des signaux d’incertitude et des preuves de performance par site et par sous-groupes de patients. L’objectif n’est pas une belle carte thermique, mais un flux de travail plus sûr.
Comment les équipes valident les explications avant de les montrer aux utilisateurs
La validation commence par le cadrage : qu’est-ce qui doit être expliqué exactement ? En finance, il peut s’agir de la décision d’acceptation, de la limite recommandée, de la priorité d’un cas de fraude ou de la raison d’un blocage de transaction. Chaque sortie a des risques et des utilisateurs différents. Un cadrage clair évite de sur-expliquer des étapes peu critiques tout en négligeant l’étape qui produit l’impact réel.
Viennent ensuite les tests de falsification. Les équipes créent des cas qui devraient se comporter de façon prévisible et vérifient si l’explication suit. Les tests typiques incluent la monotonie (si un facteur clairement risqué se dégrade, l’explication reflète-t-elle une hausse du risque ?), l’invariance (des changements sur des champs non pertinents modifient-ils le récit ?) et la stabilité dans le temps. Ces tests sont essentiels pour détecter des explications « jolies » mais peu fiables dès que l’entrée bouge légèrement.
Enfin, les organisations valident la communication. Les équipes risques, le support client et les cliniciens utilisent les explications dans des scénarios réalistes et doivent justifier leurs décisions à d’autres. Si cela crée de la confusion, des actions incohérentes ou une fausse confiance, le format est revu. En santé, on teste aussi l’intégration dans les systèmes cliniques, le risque de fatigue d’alertes et l’impact sur le comportement. Une explication qui augmente la confiance mais diminue la sécurité est considérée comme un échec.
Gouvernance et conformité : rendre la XAI auditable en 2026
En 2026, de nombreuses entreprises traitent l’explicabilité comme une partie d’une chaîne de preuves : provenance des données, choix d’entraînement, résultats de validation, paramètres de déploiement, suivi et gestion des incidents. Cela compte, car les autorités attendent de plus en plus une compréhension de l’usage réel des systèmes, pas seulement de leurs performances en laboratoire. Pour les cas à fort impact, l’explicabilité est liée à la qualité de la documentation, à la conception des contrôles et à la capacité de rejouer une décision après coup.
En finance, cela se traduit souvent par des pratiques de gestion du risque de modèle : versionner les modèles et les méthodes d’explication, tenir des journaux de changement et conserver des dossiers de décision qui incluent l’explication montrée à l’utilisateur. Ce dossier devient crucial lorsqu’un résultat est contesté ou lorsqu’un audit interne vérifie l’efficacité des contrôles. L’explication est traitée comme une communication encadrée : elle doit être exacte, stable et alignée sur des catégories de motifs approuvées et des contraintes de politique.
En santé, on retrouve une discipline comparable, mais la sécurité reste le moteur principal. Lorsque les modèles influencent le triage, la priorisation ou l’aide au diagnostic, l’attention se porte sur le contrôle des changements et la gestion du cycle de vie : si le modèle est mis à jour, le comportement des explications doit être revalidé et les utilisateurs doivent comprendre ce qui a changé concrètement. La gouvernance inclut aussi une responsabilité claire : qui peut outrepasser, qui analyse les incidents, et comment les boucles de retour sont gérées, car l’explicabilité n’aide que si des voies d’action existent.
Un plan opérationnel simple pour « boucler la boucle »
D’abord, définir une politique d’explication : quelles décisions doivent être expliquées, à qui, sous quel format et avec quelle latence. La politique fixe aussi des garde-fous : quels facteurs peuvent être montrés à l’extérieur, comment traiter les informations sensibles, et quelles formulations sont interdites parce qu’elles suggèrent une certitude que le modèle ne peut pas justifier. En banque, cela conduit souvent à une justification client simplifiée, mappée sur un ensemble de raisons contrôlées, tandis qu’une justification technique détaillée est conservée pour l’audit et la validation.
Ensuite, maintenir un inventaire des explications en parallèle de l’inventaire des modèles. Chaque entrée décrit la méthode choisie, les hypothèses, les modes d’échec connus, les résultats de test, et l’endroit où l’explication apparaît dans les outils internes ou les produits. Les équipes surveillent aussi la « dérive des explications » : situations où les métriques du modèle semblent stables mais où la distribution des facteurs expliquant les décisions change, signal possible d’un changement de pipeline, de nouveaux proxys ou d’un comportement à investiguer.
Enfin, former les utilisateurs à interpréter les explications de façon responsable. Les banques forment les équipes en contact avec les clients à expliquer sans promettre de garanties et à reconnaître quand escalader. Les hôpitaux forment les cliniciens à traiter les sorties d’IA comme des signaux d’appui, à repérer l’incertitude et les décalages de données, et à composer avec les contraintes du flux de travail. Surtout, les organisations mettent en place des mécanismes d’escalade et de pause : si les explications paraissent fausses ou dangereuses, un parcours clair existe pour enquêter, atténuer et documenter l’action corrective.
