L’accuratezza non basta: un framework per individuare i bias nei processi d’investimento basati sull’AI
Il ragionamento che la sostiene, però, potrebbe essere viziato in partenza, prima ancora che un solo dato venga verificato. Un problema destinato a pesare sempre di più, man mano che i large language model si integrano nei processi d’investimento: redigono equity research, valutano opportunità di trading, sintetizzano le conference call sui risultati. Il rischio più insidioso, non sono i numeri sbagliati, ma la propagazione silenziosa e sistematica dei bias: la tendenza a cercare conferme, l’eccesso di fiducia, il peso sproporzionato dato alle informazioni più recenti. Decine di distorsioni che si sommano, invisibili, lungo l’intero ciclo decisionale di un’organizzazione.
Un numero crescente di studi propone sistemi di rilevamento dei bias basati su LLM per intercettare proprio questo tipo di distorsioni, presentando di norma, come prova della loro efficacia, un unico punteggio di accuratezza, misurato su dati di test dedicati. In un nuovo paper presentato alla 7ª ACM International Conference on AI in Finance (ICAIF ‘26), i ricercatori di Domyn Fabrizio Dimino, Abhinav Arun, Mahesh Kumar, Bhaskarjit Sarmah e Stefano Pasquali spiegano perché quel singolo valore non è sufficiente.
Il paper introduce una tassonomia pensata specificamente per i processi d’investimento, che classifica 25 bias in quattro famiglie, affiancata da un benchmark di 5.012 input etichettati in modo indipendente da esperti del settore. Il team propone inoltre un framework di rilevamento a esecuzione forzata: ogni bias selezionato viene verificato in modo sistematico e genera una traccia documentata, senza che sia il modello a decidere autonomamente cosa valga la pena segnalare. Un’impostazione pensata per garantire la tracciabilità di ogni singola decisione, in linea con quanto oggi richiesto dai regolatori per i sistemi di AI in produzione. A completare il quadro, un protocollo di sensibilità su cinque assi verifica se il giudizio di un rilevatore regge alle semplici riformulazioni che qualunque analista userebbe nella pratica quotidiana: un aspetto che i benchmark tendono a trascurare.
Dal confronto di sette rilevatori, sia sull’accuratezza sia sulla robustezza, emerge una divergenza che i punteggi complessivi nascondono del tutto: il rilevatore più accurato dello studio non è il più robusto alle riformulazioni ed è anche quello che cede in modo più netto quando si adotta una soglia di confidenza più rigorosa. In altre parole, accuratezza e reale utilizzabilità in produzione sono due questioni distinte. Per chi deve selezionare un rilevatore di bias da impiegare in un contesto regolamentato, un punteggio di accuratezza elevato non è di per sé una garanzia: robustezza e calibrazione vanno verificate con la stessa attenzione.
Il paper illustra i risultati completi e indica con precisione dove ciascun rilevatore mostra i propri limiti, asse per asse.
