Faut-il confier son argent à un chatbot ? Un test de 10 000 réponses livre son verdict

Selon la fintech britannique Saturn, les principaux modèles d’IA ont échoué à répondre correctement à 57 % des questions sur les finances personnelles. Le taux d’échec est monté à 88 % pour les questions plus difficiles comportant plusieurs étapes.

Ces résultats surviennent alors que les consommateurs s’en remettent de plus en plus aux chatbots pour leurs questions d’argent.

Les questions les plus difficiles ont mis presque tous les modèles en échec

L’étude a soumis 121 questions à 18 modèles gratuits et payants proposés notamment par ChatGPT, Gemini, Claude et Copilot. Chaque question a été répétée jusqu’à cinq fois, générant plus de 10 000 réponses.

Une réponse était considérée comme un échec si elle contenait une erreur factuelle, omettait un élément important ou ne mentionnait pas un avertissement requis.

Les modèles gratuits ont obtenu les pires résultats, échouant dans 63 % des cas, contre 49 % pour les versions payantes. Pour les questions les plus difficiles, les modèles gratuits ont échoué dans 93 % des cas.

Claude Opus 5 en mode raisonnement est arrivé en tête. Il a toutefois échoué dans 39 % des cas. Parmi les erreurs relevées figuraient des erreurs de calcul, des changements fiscaux passés inaperçus et des règles inexistantes.

Une réponse concernant la fiscalité des pensions aurait pu exposer un épargnant à un prélèvement de 17 500 £ de la part de l’administration fiscale britannique (HM Revenue and Customs).

« Des millions de personnes font confiance aux modèles d’IA pour obtenir des conseils financiers, mais elles reçoivent des réponses erronées qui peuvent leur coûter de l’argent », a déclaré Amal Jolly, directeur général de Saturn.

Suivez-nous sur X pour obtenir les dernières nouvelles au fur et à mesure qu'elles arrivent

La confiance dans les chatbots d’IA continue pourtant de croître

Parallèlement, l’usage s’est étendu à différents marchés et groupes d’âge. Une enquête mondiale d’EY menée auprès de 18 000 consommateurs a révélé que 49 % d’entre eux avaient utilisé l’IA pour les aider à prendre des décisions en matière d’épargne et d’investissement.

En août, le régulateur financier britannique a indiqué que quatre investisseurs moins expérimentés sur cinq avaient utilisé l’IA pour les aider à investir. Parmi les personnes interrogées, 56 % ont déclaré faire confiance à ces outils, contre 47 % à la télévision et à la radio.

Parallèlement, la même étude a révélé que 44 % des personnes interrogées croient à tort que les informations financières générées par l’IA sont réglementées.

Une enquête de PensionBee menée auprès de 1 000 adultes américains a révélé que près de six personnes sur dix suivraient des conseils financiers sans les vérifier de manière indépendante. Près d’une personne sur quatre a déclaré qu’un chatbot lui avait déjà fourni des informations erronées sur ses finances.

Jolly a déclaré que les conseils financiers fournis par l’IA n’étaient pas réglementés, privant ainsi les consommateurs des droits à indemnisation auxquels ils pourraient prétendre auprès d’un conseiller humain. Il a exhorté la FCA à agir rapidement.

Abonnez-vous à notre chaîne YouTube pour regarder des leaders et des journalistes fournir des analyses d'experts

Source : BeInCrypto