Quante tonnellate di carbonio genera l'addestramento di un modello linguistico della portata di BLOOM, comprendente ben 176 miliardi di parametri? La risposta in uno studio condotto da una startup AI americana, che tenta una stima derivata dall’analisi di più tipologie di consumi.

Sotto il profilo della sostenibilità ambientale, il progresso delle tecniche di artifcial intelligence – tra cui, in particolare, il machine learning – al quale abbiamo assistito nell’arco dell’ultimo decennio, ha un amaro rovescio della medaglia, stigmatizzabile guardando alle stime della sua impronta di carbonio. Quella dell’impronta di carbonio dell’intelligenza artificiale e, più in generale, del digitale, rappresenta l’altra faccia della digitalizzazione.

Già nel 2018, uno studio condotto dalla McMaster University, in Canada – “Assessing ICT global emissions footprint: Trends to 2040 & recommendations” – metteva in guardia da un’incidenza dell’industria ICT sulle emissioni globali di gas serra pari al 14% nel 2040.

E lo studio “The real climate and transformative impact of ICT: A critique of estimates, trends, and regulations”, pubblicato a settembre 2021 dalla Lancaster University, avverte che «il mondo del digitale potrebbe essere responsabile di una quota maggiore di emissioni di gas serra di quanto si pensi. E queste emissioni continueranno ad aumentare in modo significativo se non si interviene», anche alla luce dell’aumento degli investimenti – accelerato dal processo di trasformazione digitale – in AI, big data, IoT e blockchain.

Oggi, pur con diverse imprecisioni, data la complessità e l’eterogeneità del comparto, il calcolo delle emissioni di gas serra del mondo digitale – secondo i ricercatori dell’Ateneo inglese – potrebbe aggirarsi attorno al 2,1-3,9%, superando quelle dell’industria aeronautica, che rappresentano circa il 2% delle emissioni globali.

«Per comprendere meglio la questione relativa all’impronta di carbonio del settore e, quindi, poterla ridurre, è importante iniziare a tracciare sistematicamente l’impronta di carbonio dei modelli e degli algoritmi di machine learning, il cui addestramento comporta un costo per l’ambiente, date le notevoli risorse computazionali e di energia che richiede» esortano gli autori dello studio Estimating the carbon footprint of bloom, a 176b parameter language model” – a cura della startup americana AI Hugging Face, attiva nel settore AI – i quali hanno quantificato l’impronta di carbonio di BLOOM (acronimo di BigScience Large Open-science Open-access Multilingual Language Model), modello linguistico reso disponibile per l’utilizzo gratuito a partire da luglio 2022. Vediamo che cosa ne è emerso.

L’impronta di carbonio dei Large Language Models: l’esempio di BLOOM

Lo sviluppo dei modelli linguistici di grandi dimensioni (o Large Language Models – LLM) rappresenta quel segmento, nell’ambito degli studi dell’intelligenza artificiale, dedito alla messa a punto di sistemi in grado di generare testi scritti a partire da un preciso input linguistico (ne è un esempio GPT-3 di OpenAI) per applicazioni che vanno dai chatbot per l’assistenza ai clienti ai videogiochi e al marketing, solo per citare alcuni esempi.

Rientrano nella categoria dei grandi modelli di machine learning che, riuscendo a coprire fino a centinaia di miliardi di parametri, richiedono milioni di ore di elaborazione per l’addestramento, emettendo un’elevata quantità di CO2 durante l’intero processo. Lo studio sull’impronta di carbonio dell’intelligenza artificiale, spiegano i suoi autori:

«… descrive il primo tentativo di stimare l’impronta di carbonio più ampia di un modello linguistico di grandi dimensioni, comprese le emissioni prodotte dalla produzione delle apparecchiature hardware utilizzate per il suo sviluppo, nonché dall’implementazione del modello tramite un programma informatico. L’obiettivo non è tanto quello di arrivare a definire un numero esatto di emissioni prodotte dal modello, quanto di fornire stime relative alla fase del processo della sua distribuzione rispetto alle emissioni complessive»

Iniziamo col dire che il BigScience Large Open-science Open-access Multilingual Language Model è un modello linguistico comprendente ben 176 miliardi di parametri, addestrato su 1,6 terabyte di dati in 46 linguaggi naturali e 13 linguaggi di programmazione nell’ambito del workshop BigScience, iniziativa della durata di un anno (da maggio 2021 a maggio 2022) cha ha riunito oltre mille ricercatori da tutto il mondo.

Gli autori precisano che, in quell’occasione, è stato concesso l’accesso alle risorse informatiche dell’Institut du Développement et des Ressources en Informatique Scientifique (IDRIS) del francese Centre National de la Recherche Scientifique (CNRS), «il che significa che la formazione del modello è stata effettuata sul Jean Zay cluster informatico di IDRIS».

Sebbene l’addestramento del modello sia stato il culmine del progetto BigScience – fan notare il team – sono stati necessari molti altri sforzi per raggiungere l’obiettivo, tra cui l’approvvigionamento, la raccolta e l’elaborazione dei dati, l’ingegneria dell’architettura e la valutazione delle sue dimensioni. Il tutto con relativa quantità di emissioni di carbonio generate.

Impronta di carbonio dell’intelligenza artificiale: metodologia della ricerca

Non esiste un approccio standard, universale, alla valutazione dell’impronta di carbonio dell’intelligenza artificiale e, più nello specifico, degli impatti ambientali dei modelli di machine learning, fa sapere il team di studio.

In questo caso, in particolare, si è optato per la metodologia di valutazione del ciclo di vita (o Life Cycle Assessment – LCA), che mira a coprire tutte le fasi del ciclo di vita di un prodotto o di processo.

Tuttavia, non avendo a disposizione tutte le informazioni necessarie per effettuare una valutazione di questo genere – che significherebbe focalizzarsi sugli impatti ambientali di tutti i processi, dall’estrazione delle materie prime fino allo smaltimento – l’attenzione è andata alle fasi inerenti alla produzione dell’attrezzatura utilizzata per addestrare il modello e alla sua distribuzione.

Il Life Cycle Assessment considera tutte le possibili fonti di emissioni di gas serra, inclusi metano, anidride carbonica, protossido di azoto e altri gas ancora, per cui è necessario convertire questi diversi gas in un’unica unità di misura per poi poterli sommare.

L’unità misura standard per tale scopo (e utilizzata per stimare le emissioni di carbonio del modello linguistico in oggetto) è l’equivalente di anidride carbonica (CO2eq), «calcolata confrontando il potenziale di riscaldamento globale di diversi gas serra con quello dell’anidride carbonica. Ad esempio, il metano ha un potenziale di riscaldamento globale a 100 anni 25 volte quello della CO2, il che significa che è pari a 25 CO2eq».

Stima delle emissioni prodotte dal modello

Lo studio sull’impronta di carbonio dell’intelligenza artificiale ha stimato, in particolare, le emissioni incorporate, il consumo energetico dinamico, il consumo energetico inattivo e quello derivante dalla distribuzione del modello linguistico BLOOM.

Le emissioni incorporate si riferiscono a quelle emissioni correlate ai materiali e ai processi coinvolti nella produzione di un determinato prodotto, come lo sono – ad esempio – le apparecchiature informatiche impiegate per addestrare e distribuire i modelli di apprendimento automatico.

«Sebbene la produzione di queste emissioni sia limitata esclusivamente al processo di fabbricazione, questa quantità totale viene generalmente distribuita sul tempo durante il quale l’apparecchiatura viene utilizzata, dividendo il totale delle emissioni incorporate per il tempo di utilizzo» spiegano gli autori.

Il modello BLOOM è stato addestrato su server con un’impronta di emisisone stimata di circa 2500 kg di CO2eq. Riguardo, invece, alle GPU (Graphic Processing Unit, ossia processori che abilitano calcoli paralleli) utilizzate nel server, la stima è pari a circa 150 kg di CO2eq:

«Ipotizzando un tasso di sostituzione di sei anni e un utilizzo medio dell’85% (che sono le cifre forniteci da IDRIS), le indicate si traducono in un’impronta di carbonio incorporata di circa 0,056 kg di CO2eq per ogni ora di tempo del server e 0,003 kg di CO2eq per ogni ora di tempo della GPU. E, dato che l’addestramento del modello BLOOM è durato un totale di 1,08 milioni di ore utilizzando, in media, 384 GPU su 48 nodi di elaborazione, possiamo stimare che le emissioni incorporate associate rappresentino circa 7,57 tonnellate per i server e 3,64 tonnellate per le GPU, aggiungendo un totale di 11,2 tonnellate di CO2eq alla sua impronta di carbonio»

Il consumo energetico dinamico si riferisce, invece, al calcolo delle emissioni di CO2 prodotte generando l’elettricità necessaria per alimentare l’addestramento del modello. L’addestramento del modello – come accennato – ha richiesto un totale di 1,08 milioni di ore, poggiando su una partizione hardware costituita da GPU con 80GB di memoria e con un Thermal Design Power di 400W, il che rappresenta un consumo di 433.196 kWh di elettricità durante l’allenamento.

Moltiplicato per l’intensità di carbonio della rete energetica utilizzata, che è di circa 57 gCO2eq/kWh, si ottiene untotale di 24,69 tonnellate di CO2eq relative al consumo dinamico di energia.

Tabella che illustra alcuni numeri relativi all’addestramento del BigScience Large Open-science Open-access Multilingual Language Model (BLOOM). (Fonte: “Estimating the carbon footprint of bloom, a 176b parameter language model” - AI Hugging Face - https://arxiv.org/pdf/2211.02001.pdf).
Alcuni numeri relativi all’addestramento di BLOOM con, in evidenza, l’intensità di carbonio delle rete energetica (Fonte: “Estimating the carbon footprint of bloom, a 176b parameter language model” – AI Hugging Face – https://arxiv.org/pdf/2211.02001.pdf).

Il consumo energetico inattivo rimanda alla quantità di energia necessaria ad alimentare l’infrastruttura più ampia che mantiene e connette l’hardware. Questa – durante l’allenamento del modello – è stata stimata attorno a una media di oltre 109 kWh che, moltiplicato per il tempo totale di addestramento, arriva a 256.646 kWh di consumo energetico inattivo totale.

Per tentare, infine, di stimare le emissioni di carbonio sostenute durante la distribuzione di BLOOM, il team di studio si è focalizzato sulla media del numero di richieste all’ora ricevute dal modello, per un periodo di circa diciotto giorni:

«Il modello ha ricevuto una media di 558 richieste all’ora, che sono state gestite in tempo reale, per un totale di 230.768 richieste. E, in totale, l’istanza utilizzata per l’applicazione del modello ha consumato 914 kWh di elettricità, di cui il 22,7% consumato dalla RAM (207,2 kWh), il 2% dalla CPU (18,5 kWh) e il 75,3% dalla GPU (688,38 kWh)».

Si stima, dunque, che l’addestramento finale di BLOOM abbia emesso, in totale, circa 24,7 tonnellate di CO2 – se consideriamo solo il consumo energetico dinamico – e 50,5 tonnellate se teniamo conto di tutti i processi che vanno dalla produzione di apparecchiature al consumo operativo basato sull’energia.

Impronta di carbonio dell’intelligenza artificiale: il lavoro futuro

Questo lavoro sull’impronta di carbonio dell’intelligenza artificiale intende porsi quale esempio di ricerca tesa a fare luce sulle diverse fonti che contribuiscono all’impronta di carbonio totale di un modello di machine learning come il BigScience Large Open-science Open-access Multilingual Language Model, con l’obiettivo di progettare soluzioni concrete per ridurle.

Ma sono ancora tanti gli interrogativi senza risposta, che futuri studi dovranno sciogliere, primo fra tutti quello relativo alla raccolta dei dati sulle emissioni incorporate dei Large Language Models. In futuro, questi dovranno essere più precisi – sottolineano i ricercatori – e riguardanti l’esatto hardware che si è utilizzato, in modo da calcolare l’esatto impatto ambientale della produzione di apparecchiature informatiche impiegate.

Un altro punto critico da affrontare nelle prossime ricerche concerne l’approfondimento dei consumi legati alla distribuzione del modello. Si tratta di un tema complesso, che abbraccia le attività di implementazione, scalabilità e manutenzione dei modelli di intelligenza artificiale, nella pratica e in tempo reale.

L’ideale sarebbe – conclude il team – condurre più studi empirici per testare diverse configurazioni hardware e il modo in cui queste incidono sul consumo di energia e sulle emissioni di carbonio.

Infine, è imperativo sostenere una maggiore trasparenza nella rendicontazione del carbonio, disaggregando le singole cifre in informazioni riguardanti, ad esempio, il consumo di energia, l’intensità di carbonio e il Power Usage Effectiveness, al fine di consentire confronti più significativi tra differenti modelli AI.

Scritto da: