Domyn addestra un modello AI su scala da un trilione di parametri sul supercomputer pubblico europeo, in preparazione del modello frontier EUROPA

L'Europa ha ancora bisogno di maggiore ambizione, di più data center, di maggiori investimenti e di tempo per sviluppare la propria capacità nel campo dell'intelligenza artificiale. Tuttavia, accanto a questi investimenti, esiste anche l'opportunità di utilizzare in modo più efficace le infrastrutture già disponibili. Il lavoro di Domyn fornisce una dimostrazione concreta di ciò che l'Europa può realizzare utilizzando una capacità di calcolo già operativa e finanziata con risorse pubbliche.

In qualità di capofila del consorzio EUROPA, insieme a Fraunhofer IAIS e IIS, Domyn ha dimostrato di essere in grado di addestrare un modello di intelligenza artificiale open con circa 952 miliardi di parametri, una dimensione prossima al trilione. I parametri sono i valori che un modello apprende durante la fase di addestramento per riconoscere schemi ricorrenti e generare risposte. Un numero maggiore di parametri corrisponde generalmente a maggiori capacità del modello, e oggi i modelli di frontiera più avanzati raggiungono il trilione di parametri e oltre.

Anziché affidarsi a un cluster di calcolo costruito appositamente, il team ha utilizzato JUPITER, il supercomputer europeo finanziato con fondi pubblici e già operativo a Jülich, in Germania. Gli ingegneri di Domyn hanno ri-progettato lo stack tecnologico necessario all'addestramento, basandosi su PyTorch e TorchTitan e utilizzando 384 GPU NVIDIA GH200 per ciascuna replica del modello addestrata in parallelo.

Nel corso del lavoro, il team è riuscito ad aumentare di 14 volte la velocità di elaborazione durante l'addestramento, passando da 90 a circa 1.300 token al secondo per GPU. Questo risultato rende possibile il pre-addestramento di un modello da un trilione di parametri in circa quattro mesi. I progressi dimostrano che la capacità europea nel campo dell'intelligenza artificiale non dipende soltanto dalla costruzione di nuove infrastrutture, ma anche dalla possibilità di sfruttare appieno il potenziale dei supercomputer nei quali sono già stati investiti fondi pubblici. È stata così definita una configurazione operativa per in vista dell'esecuzione completa dell'addestramento del modello

Domyn ha pubblicato la configurazione utilizzata, le metodologie ingegneristiche sviluppate e i risultati misurati nel proprio blog tecnico. Il team ha inoltre contribuito allo sviluppo di correzioni per PyTorch e TorchTitan, affinché anche altri sviluppatori possano beneficiare del lavoro svolto

Condividendo questi metodi, Domyn contribuisce a consentire a un numero maggiore di team di valorizzare gli investimenti europei nel supercalcolo pubblico e di sviluppare modelli di intelligenza artificiale propri.

Tutti i dettagli sono disponibili nel blog tecnico di Domyn.