Perché l’AI consuma sempre più energia (nonostante Deepseek)

Il report “2024 United States Data Center Energy Usage Report” dei Berkeley Lab ^{evidenzia come, negli Stati Uniti, il consumo dei datacenter nel 2023 equivaleva al 4,4% del totale, mentre nel 2028 si collocherà tra il 6,7 e il 12%. Inoltre, l’analisi delle stime di diversi attori sul consumo energetico globale dei datacenter è inquietante e la natura esponenziale della curva è evidente anche all’occhio meno esperto:}

Impatto ambientale dei modelli di AI: i costi del training e dell’inferenza

Il consumo dei datacenter, già in crescita in passato, è esploso con i Large Language Model (LLM).

I modelli di AI generativa vivono di due fasi distinte, con impatto ambientale diverso: la fase di training e la fase di inferenza. La prima ha un significato ovvio: la costruzione di un modello richiede un costo computazionale e quindi ambientale importante. Per capirne l’entità, rifacciamoci ai dati dell’ultimo Standford AI Index Report (2024)^:

Come si vede, i modelli hanno costi di training molto diversi con Gemini Ultra che, secondi i dati dichiarati, sfiora i 200 milioni di dollari. Su questa componente dell’impatto energetico, in effetti, Deepseek sembra molto efficiente. Le cifre si sprecano, si è parlato di 5,6 milioni di dollari, anche se più di qualche dubbio rimane. Ancora più sconcertante se si confronta questo dato con la previsione di Dario Amodei, CEO di Anthropic, che dice che fra qualche anno il training di un modello di AI costerà 100 miliardi di dollari^{. A questo punto, che siano 5,6 milioni o qualcosa di più, Deepseek pare in effetti molto più efficiente.}

La seconda fase che ha un impatto energetico, quella di inferenza, è però ancora più interessante. Infatti, mentre il training è un costo una tantum, l’inferenza è la fase di utilizzo del modello (quando diamo in pasto all’AI un “prompt”), quindi un costo ricorrente. Ecco qualche dato sempre dal report di Stanford:

La variabilità è molta e i dati sono incompleti, però si intuisce che la partita vera della sostenibilità si gioca non tanto sui costi per costruire la macchina, ma sulle emissioni di CO2 una volta che la macchina viene messa su strada.

Le peculiarità di DeepSeek: automazione, chain-of-thought ed efficienza energetica

Veniamo ora a Deepseek. Senza entrare nel dettaglio, perché esistono tonnellate di articoli che lo fanno^{, le peculiarità più significative di Deepseek sono:}

Le tre affermazioni sono in realtà legate, se le si guarda dal punto di vista della sostenibilità energetica e ambientale. Il reinforcement learning è il meccanismo con cui si insegna ad un modello di AI a dare le risposte giuste e rilevanti rispetto al contesto. È un processo lungo e costoso perché, fino ad ora, richiedeva l’utilizzo di personale umano per dare feedback alla macchina (RLHF o reinforcement learning with human feedback). Insomma, migliaia di uomini che lavorano per l’AI. Deepseek è riuscita ad automatizzare questa fase, rendendo quindi necessarie minori risorse.

Il paradosso dell’efficienza: training economico vs inferenza dispendiosa

La seconda e la terza affermazione sono ancora più strettamente correlate. La tecnica del “chain-of-thought” non è nuova, perché è presente nella maggior parte degli LLM. Il grande beneficio è che garantisce una maggior trasparenza e comprensibilità, oltre a risultati migliori, spezzando il problema in sotto-task che vengono resi visibili all’utente. Quindi è una funzionalità molto interessante.

La peculiarità di Deepseek è che ne fa un uso estensivo, generando risposte più verbose. Vale a dire: più energivore^{. Questa constatazione rischia quindi di mettere in discussione l’ultima, ossia la presunta maggior efficienza energetica di Deepseek.}

L’analogia dell’automobile già utilizzata è forse quella che meglio spiega la complessità della questione. Certamente costruire l’automobile Deepseek è costato meno (dal punto di vista economico, ma anche di impatto ambientale) delle altre automobili (sistemi di AI generativa). Sembra però che questa automobile abbia un consumo di carburante per chilometro potenzialmente superiore.

Quindi, per fare una valutazione corretta, andrebbero considerate un numero maggiore di variabili: il costo della fase di training, il costo della fase di inferenza, il numero di interrogazioni medie per avere una risposta soddisfacente e l’impatto energetico delle diverse modalità di utilizzo (in cloud, in locale…).

Di certo però i dati che abbiamo sulle AI generative attuali sono fortemente preoccupanti. Una query di ChatGPT consuma circa 10 volte più energia di una ricerca su Google (2,9 wattora contro 0,3 wattora)^.

Modelli ai efficienti: tra promesse di sostenibilità e realtà dei consumi

Quindi sì, al di là dell’incertezza che rimane sulla pretesa maggior sostenibilità di Deepseek, l’ingresso sul mercato di nuovi attori come l’azienda di Hangzhou, che stimolino una riflessione sulla sostenibilità di questi strumenti, è un fatto estremamente positivo.

Ma senza aspettare Deepseek, sono già disponibili sul mercato alcuni modelli con efficienza energetica superiore e prestazioni di tutto rispetto, come il francese Mistral^{. Questo credo sia un fattore determinante per il futuro, insieme al fatto che l’AI può certamente efficientare l’uso dell’energia tramite le tecnologie di smart grid e ridurre le emissioni di gas serra.}

Secondo uno studio di BCG, commissionato da Google, l’AI ha il potenziale di ridurre le emissioni di gas serra dal 5 al 10% nel 2030. Poi in realtà, se si va a leggere il report citato, si scopre che non ci sono molti dati a supporto di questa affermazione. Mentre ci sono dati solidi a supporto del costo ambientale dell’AI già oggi, Per questo si dovrebbe porre sempre più attenzione su come produrre modelli più efficienti e non solo più performanti.

Insomma, dire che l’AI ridurrà le emissioni in futuro è in questo momento un atto di fede, mentre costatare che l’AI sta generando un impatto ambientale negativo ora è un dato di fatto. Credo si debba lavorare sia sulla fede che sui fatti, ma aggrapparsi alla fede trascurando i fatti… ha sempre portato a conseguenze disastrose!

C’è poi un’altra questione: se l’AI, anche grazie alla sua maggiore efficienza, diventerà più usata, il suo peso globale sui consumi energetici crescerà. E potrebbe fare aumentare anche i consumi globali in genere, se andrà a sostituire attività meno energy intensive, come sta facendo già con la search.

Secondo GoldmanSachs, il settore dei servizi finanziari stima che l’energia totale attualmente consumata dal settore dei data center a livello mondiale sia di circa 55 GW. Più della metà di questa cifra (54%) riguarda i carichi di lavoro del cloud computing, mentre le funzioni aziendali tradizionali, come la posta elettronica o lo storage, rappresentano il 32% e i carichi di lavoro dell’AI il 14%.

Modellando la domanda futura per ciascuno di questi tipi di carichi di lavoro, le proiezioni indicano che i requisiti di potenza raggiungeranno gli 84 GW entro il 2027, con l’IA che si espanderà fino a comprendere il 27% di questa cifra, mentre il cloud rappresenterà la metà e le funzioni tradizionali il 23%.

Se le previsioni sono esatte, ciò significa che l’energia consumata da tutte queste strutture di dati è destinata ad aumentare del 50% in un paio d’anni, e Goldman Sachs prevede che la tendenza continuerà, con circa 122 GW di capacità totale di data center online entro la fine del 2030.

AI sostenibile e digital divide: l’importanza dell’efficienza per l’inclusione digitale

Per finire cito un’altra ragione per cui perseguire modelli più sostenibili, non solo ambientalmente, sia una buona idea. Tutti sappiamo che il digital divide non si è ridotto in questi anni, ma è semmai aumentato^{. Modelli più efficienti e meno costosi potrebbero aiutare a ridurre il digital divide, permettendo anche ai paesi e alle società più povere di attingere ai benefici dei modelli di AI, come discusso anche al recente AI summit di Parigi.}

Sitografia

Trump, DeepSeek in focus as nations gather at Paris AI Summit | Reuters ↑

https://eta-publications.lbl.gov/sites/default/files/2024-12/lbnl-2024-united-states-data-center-energy-usage-report.pdf ↑

https://aiindex.stanford.edu/report/ ↑

https://ainews.it/tra-pochi-anni-creare-un-modello-ai-costera-100-miliardi-di-dollari-lo-dice-dario-amodei/ ↑

https://www.agendadigitale.eu/mercati-digitali/ai-crolla-il-mito-dei-miliardi-cosi-deepseek-sgonfia-la-bolla-usa/ How DeepSeek ripped up the AI playbook—and why everyone’s going to follow it | MIT Technology Review ↑

DeepSeek might not be such good news for energy after all | MIT Technology Review ↑

research finds generative AI models like chatGPT may double energy consumption by 2026 ↑

Mistral AI: Ecological Generative AI Leading Performance ↑

Energy and AI: the power couple that could usher in a net-zero world | World Economic Forum ↑

https://en.wikipedia.org/wiki/Global_digital_divide e https://press.un.org/en/2023/gaef3587.doc.htm ↑