I principali modelli di intelligenza artificiale falliscono il 57% delle risposte su domande di finanza personale, secondo la fintech britannica Saturn. I tassi di errore salgono all’88% su quesiti più difficili e con passaggi multipli.
I risultati arrivano in un momento in cui la dipendenza dei consumatori dai chatbot per domande di natura finanziaria è in rapido aumento.
Le domande più difficili hanno messo in crisi quasi tutti i modelli
Lo studio ha sottoposto 121 domande a 18 modelli gratuiti e a pagamento offerti da provider come ChatGPT, Gemini, Claude e Copilot. Ogni domanda è stata ripetuta fino a 5 volte, per un totale di oltre 10.000 risposte analizzate.
Una risposta veniva considerata fallita quando conteneva un errore fattuale, tralasciava aspetti rilevanti oppure ometteva un avvertimento richiesto.
I modelli gratuiti hanno registrato le peggiori performance, sbagliando il 63% delle risposte rispetto al 49% delle versioni a pagamento. Sulle domande più difficili, i modelli gratuiti hanno fallito nel 93% dei casi.
Claude Opus 5 in modalità reasoning si è piazzato in testa tra i modelli testati. Tuttavia, ha comunque sbagliato il 39% delle risposte. Gli errori includevano calcoli errati, mancato aggiornamento alle normative fiscali e regole inesistenti.
Una risposta errata riguardante la tassazione pensionistica avrebbe potuto esporre un risparmiatore a una multa di £17.500 da parte dell’agenzia fiscale britannica (HM Revenue and Customs).
“Milioni di persone si affidano ai modelli di intelligenza artificiale per consigli sui soldi, ma stanno ricevendo risposte sbagliate che possono far loro perdere denaro,” ha spiegato in dettaglio Amal Jolly, CEO di Saturn, in un’intervista.
Seguici su X per ricevere le ultime notizie in tempo reale
La fiducia nei chatbot AI continua comunque a crescere
Nel frattempo, l’utilizzo si è diffuso tra mercati ed età diverse. Un sondaggio globale EY su 18.000 consumatori ha rilevato che il 49% ha usato l’intelligenza artificiale per ricevere supporto nelle decisioni di risparmio e investimento.
L’autorità di regolamentazione finanziaria britannica ha riportato, ad agosto, che quattro investitori su cinque con meno esperienza hanno utilizzato l’AI per ottenere aiuto negli investimenti. Tra gli intervistati, il 56% dichiara di fidarsi degli strumenti, davanti a televisione e radio (47%).
La stessa indagine ha però rilevato che il 44% crede erroneamente che le informazioni finanziarie generate dall’AI siano soggette a regolamentazione.
Un sondaggio PensionBee su 1.000 adulti negli Stati Uniti mostra che quasi sei su dieci agirebbero su suggerimenti finanziari senza controllarne l’attendibilità in modo indipendente. Quasi uno su quattro dichiara che un chatbot gli ha già fornito informazioni errate sulle proprie finanze.
Jolly ha spiegato che i consigli finanziari dati dall’AI non sono regolamentati, lasciando i consumatori privi dei diritti al risarcimento di cui godrebbero con un consulente umano. Ha quindi invitato la FCA a intervenire rapidamente.
Iscriviti al nostro canale YouTube per vedere leader e giornalisti condividere approfondimenti da esperti
