FINCH: Financial Intelligence using Natural language for Contextualized SQL Handling
L’applicazione dell’intelligenza artificiale ai servizi finanziari presenta sfide specifiche, soprattutto nell’uso delle tecnologie di elaborazione del linguaggio naturale (NLP). I dati finanziari sono complessi, soggetti a regole stringenti e pieni di sfumature, per questo i modelli di AI generici non riescono sempre a garantire risultati precisi e affidabili.
Per colmare questa lacuna, il team di ricerca di Domyn ha realizzato un nuovo insieme di dati e una metrica di valutazione che rendono più semplice applicare le tecniche di elaborazione del linguaggio naturale (NLP) ai compiti di Text-to-SQL nel settore finanziario. In particolare, il progetto punta a migliorare la capacità dei modelli di intelligenza artificiale di trasformare domande in linguaggio naturale in query SQL, ossia istruzioni che i database possono comprendere ed eseguire.
Il risultato di questo lavoro è FINCH (Financial Intelligence using Natural language for Contextualized SQL Handling), un ampio e accurato dataset finanziario sviluppato da Bhaskarjit Sarmah, Stefano Pasquali e Avinash Kumar Singh. FINCH comprende 292 tabelle e oltre 75.000 coppie di domande in linguaggio naturale e relative query SQL, offrendo così una base solida sia per l’addestramento mirato (fine-tuning) sia per la valutazione comparativa (benchmarking) dei modelli di intelligenza artificiale applicati alla finanza. Oltre al dataset, i ricercatori hanno introdotto anche una nuova metrica di valutazione, il FINCH Score, pensata per cogliere le sfumature e le complessità tipiche del linguaggio finanziario che spesso sfuggono agli indicatori tradizionali. Questa metrica consente di valutare le prestazioni dei modelli in modo più accurato e affidabile, migliorando la loro capacità di operare in contesti finanziari reali.
Lo studio ha sorprendentemente mostrato che modelli più piccoli e specializzati per un dominio specifico possono ottenere risultati migliori rispetto ai grandi modelli linguistici generici (LLM). Un esempio è Arctic-Text2SQL-R1-7B, un modello relativamente compatto che si è distinto tra i migliori, dimostrando come la specializzazione possa essere più efficace della semplice crescita in dimensioni.
Se adottato su larga scala, FINCH potrebbe rappresentare un punto di svolta nel modo in cui le istituzioni finanziarie progettano, addestrano e valutano i propri sistemi di intelligenza artificiale. Invece di affidarsi a modelli generici addestrati su grandi quantità di dati non specifici, le aziende potrebbero puntare su modelli sviluppati appositamente per la finanza, testati e certificati con metriche calibrate sul contesto finanziario.
Firmata da Bhaskarjit Sarmah, Stefano Pasquali e Avinash Kumar Singh, la ricerca mette in luce le principali debolezze dei benchmark e dei metodi di valutazione attuali, proponendo un approccio più solido e lungimirante per dare vita alla prossima generazione di soluzioni di AI affidabili per i servizi finanziari.
