L'IA dans la conformité : du battage médiatique à l'application pratique

Le groupe EQS, en collaboration avec l'association allemande BCM, a publié un nouveau benchmark évaluant six modèles d'IA de premier plan dans 120 scénarios de conformité. Le rapport « EQS Benchmark Report : AI Performance in Compliance & Ethics » révèle que les modèles d'IA excellent dans des tâches structurées comme la classification et la prise de décision, avec des taux de précision supérieurs à 95 %. Cependant, les performances chutent sensiblement dans les scénarios complexes et ambigus. Gemini 2.5 Pro de Google et GPT-5 d'OpenAI dominent le marché, illustrant les avancées rapides en matière de capacités d'IA.

Gemini 2.5 Pro a obtenu le meilleur score global avec 86,7 %, suivi de près par GPT-5 avec 86,5 %. Les modèles ont obtenu les meilleurs résultats dans les tâches structurées, mais ont éprouvé des difficultés avec les tâches ouvertes. La cohérence était élevée, avec un faible taux d'hallucinations de 0,71 %, ce qui souligne la fiabilité des modèles lorsque les tâches sont clairement définies. Le benchmark souligne l'importance des incitations spécifiques et du choix du modèle pour déterminer les résultats.

Le rapport souligne le potentiel de l'IA pour améliorer les tâches de conformité, tout en insistant sur la nécessité d'une supervision humaine, notamment dans les domaines sensibles. Il encourage les professionnels de la conformité à intégrer l'IA à leurs flux de travail, en veillant au respect des limites éthiques et légales.