Per l’Intelligenza Artificiale l’elettricità del mondo può non bastare

L’Intelligenza artificiale è così mostruosamente energivora, ha bisogno di tale quantità di elettricità far funzionare le sue batterie di centinaia di supercomputer, che rischia di “non avere futuro” se non si adotta l’energia nucleare, più precisamente la fusione atomica – una tecnologia che non è proprio dietro l’angolo.

Lo ha detto al Forum di Davos Sam Altman, il padrone di Open AI qualche giorno fa. Rallegriamoci : come dovrebbe essere chiaro, la Intelligenza Artificiale (AI) a noi non serve; serve a loro, ai plutocrati, primariamente per non pagare più i giusti salari a milioni di lavoratori intellettuali, aumentando di milioni le “Bocche inutili” inquinanti da eliminare; ma ancor più la AI per rendere perfetto e totale l’apparato di schiavitù, dall’abolizione del contante alle camere a riconoscimento facciale collegate con il credito sociale, fino alla realizzazione dell’aberrante Progetto Transumano, con l’integrazione di chip e corpi umano ea altri deliri concepiti dal superomismo di Harari e di Schwab.

Notiamo da questa rivelazione che l’AI provoca più effetto serra e CO2 dell’agricoltura che in USA Kerry, nominato zar climatico, vuole “eliminare” (non ridurre, eliminare) perché colpevole del 30% del riscaldamento climatico; pù delle auto private che ci vogliono togliere e del riscaldamento della casa che ci vogliono vietare.

Notiamo infine che la titanica quantità d energia elettrica che i lorsignori del digitale consumano per la loro AI, ha un prezzo, gigantesco; lorsignori preferiscono pagare per quella, piuttosto che i salari giusti. La consolazione è che non riusciranno ad espandere a livello totale la schiavitù AI: troppa improna di carbonio…

Qui sotto alcuni testi che spiegano il problema:

Il futuro dell’intelligenza artificiale dipende dall’energia: lo ha detto il CEO di OpenAI a Davos

Il CEO di OpenAI, Sam Altman, ha dichiarato che serve una svolta in materia di energia per sostenere i progressi nel campo dell’intelligenza artificiale.

Il pensiero di Altman è molto semplice: l’IA richiederà sempre più potenza di calcolo e di conseguenza hardware più energivoro. Intervistato da Bloomberg (via Reuters), Altman ha affermato che è necessario investire su fonti di energia più rispettose del clima, in particolare la fusione nucleare 

“Non c’è modo di arrivarci senza una svolta“, ha detto. “Questo ci motiva a investire di più nella fusione”. Altman è già passato dalle parole ai fatti con un investimento nel 2021 di 375 milioni in Helion Energy, società che persegue la fusione nucleare.

Helion Energy ha già siglato un accordo per fornire energia nucleare da fusione a Microsoft a partire dal 2028, anche se non mancano gli scettici che ritengono impossibile rispettare una tale tempistica. Microsoft è il principale investitore di OpenAI, quindi non sembra causale che abbia stretto un’intesa con un’azienda sostenuta da Sam Altman.

Scientific Amreican:

Il boom dell’intelligenza artificiale potrebbe utilizzare una quantità scioccante di elettricità

Alimentare modelli di intelligenza artificiale richiede molta energia. Una nuova analisi dimostra quanto grande potrebbe diventare il problema

DI LAUREN LEFFER

Attrezzatura nella sala server

Ogni interazione online si basa su un’impalcatura di informazioni archiviate in server remoti e queste macchine, impilate insieme nei data center di tutto il mondo, richiedono molta energia. Secondo l’Agenzia internazionale per l’energia , in tutto il mondo i data center rappresentano attualmente circa l’1-1,5% del consumo globale di elettricità . E il boom mondiale dell’intelligenza artificiale, ancora in espansione, potrebbe far aumentare questo numero molto, e velocemente.

Negli ultimi mesi i ricercatori hanno lanciato allarmi generali sull’elevato fabbisogno energetico dell’intelligenza artificiale . Ma un’analisi peer-reviewed pubblicata questa settimana su Joule è una delle prime a quantificare la domanda che si sta rapidamente materializzando. Il proseguimento delle attuali tendenze in termini di capacità e adozione dell’intelligenza artificiale porterà NVIDIA a spedire 1,5 milioni di unità server AI all’anno entro il 2027. Questi 1,5 milioni di server, funzionanti a piena capacità, consumerebbero almeno 85,4 terawattora di elettricità all’anno : più di quello che molti piccoli paesi consumano in un anno, secondo la nuova valutazione.

L’analisi è stata condotta da Alex de Vries, data scientist presso la banca centrale dei Paesi Bassi e Ph.D. candidato alla Vrije University Amsterdam, dove studia i costi energetici delle tecnologie emergenti. In precedenza de Vries era diventato famoso per aver lanciato l’allarme sugli enormi costi energetici del mining e delle transazioni di criptovalute. Ora ha rivolto la sua attenzione all’ultima moda tecnologica. Scientific American ha parlato con lui dello sconcertante appetito dell’intelligenza artificiale per l’elettricità.

[ Segue una trascrizione modificata e condensata dell’intervista. ]

Perché ritieni sia importante esaminare il consumo energetico dell’intelligenza artificiale?

Perché l’intelligenza artificiale è ad alta intensità energetica. Ho inserito un esempio di ciò nel mio articolo di ricerca: ho sottolineato che se trasformassi completamente il motore di ricerca di Google in qualcosa come ChatGPT e tutti lo usassero in questo modo, avresti nove miliardi di interazioni chatbot invece di nove miliardi di ricerche regolari per giorno, quindi il consumo di energia di Google aumenterebbe. Google avrebbe bisogno della stessa potenza dell’Irlanda solo per far funzionare il suo motore di ricerca.

Ora, questo non accadrà perché anche Google dovrebbe investire 100 miliardi di dollari in hardware per renderlo possibile. E anche se [l’azienda] avesse i soldi da investire, la catena di fornitura non potrebbe consegnare subito tutti quei server. Ma penso ancora che sia utile illustrare che se si intende utilizzare l’intelligenza artificiale generativa in applicazioni [come un motore di ricerca], ciò ha il potenziale per rendere ogni interazione online molto più pesante in termini di risorse.

Penso che sia salutare includere almeno la sostenibilità quando parliamo del rischio dell’intelligenza artificiale. Quando parliamo del potenziale rischio di errori, delle incognite della scatola nera o del pregiudizio discriminatorio dell’IA, dovremmo includere anche la sostenibilità come fattore di rischio. Spero che il mio articolo incoraggi almeno il processo di riflessione in quella direzione. Se useremo l’intelligenza artificiale, sarà d’aiuto? Possiamo farlo in modo responsabile? Abbiamo davvero bisogno di utilizzare questa tecnologia in primo luogo? Cos’è che un utente finale desidera e di cui ha bisogno e come possiamo aiutarlo al meglio? Se l’intelligenza artificiale è parte di questa soluzione, ok, vai avanti. Ma se non lo è, allora non inserirlo.

Quali parti dei processi dell’intelligenza artificiale utilizzano tutta quell’energia?

Generalmente ci sono due grandi fasi quando si parla di intelligenza artificiale. La prima è la fase di addestramento, in cui si imposta e si fa in modo che il modello impari da solo come comportarsi. E poi hai una fase di inferenza, in cui inserisci il modello in un’operazione live e inizi a fornirgli suggerimenti in modo che possa produrre risposte originali. Entrambe le fasi sono ad alta intensità energetica e non sappiamo veramente quale sia il rapporto energetico. Storicamente, con Google, il bilancio era del 60% di inferenza e del 40% di formazione. Ma poi con ChatGPT questo problema è crollato, perché l’addestramento di ChatGPT richiedeva un consumo energetico relativamente minimo rispetto all’applicazione del modello.

Uno scienziato informatico analizza l’elevata impronta di carbonio dell’intelligenza artificiale generativa

KATE SAENKO e LA CONVERSAZIONE USA

Dipende da molti fattori, ad esempio la quantità di dati inclusi in questi modelli. Voglio dire, questi grandi modelli linguistici su cui è alimentato ChatGPT sono noti per l’utilizzo di enormi set di dati e per avere miliardi di parametri. E, naturalmente, rendere questi modelli più grandi è un fattore che contribuisce a farli semplicemente necessitare di più potenza, ma è anche il modo in cui le aziende rendono i loro modelli più robusti.

Quali sono alcune delle altre variabili da considerare quando si pensa all’utilizzo dell’energia dell’IA?

Il raffreddamento non è incluso nel mio articolo, ma se ci fossero stati dei dati su cui basarsi, lo sarebbero stati. Una grande incognita è dove finiranno quei server. Ciò conta molto, perché se sono in Google, il consumo aggiuntivo di energia per il raffreddamento sarà nell’ordine di un aumento del 10%. Ma i data center globali, in media, aggiungeranno il 50% al costo energetico solo per mantenere le macchine fresche. Ci sono data center che funzionano anche peggio di così.

Numenta:

Perchè la AI ha bisogno di quantità di energia così enormi da danneggiare l’ambiente?

Un anno fa, è apparso un blog intitolato “ L’intelligenza artificiale sta danneggiando il nostro pianeta: affrontare l’incredibile costo energetico dell’intelligenza artificiale ” per far luce sulle allarmanti richieste energetiche dell’intelligenza artificiale e introdurre tecniche basate sul cervello per mitigare potenzialmente queste preoccupazioni ambientali. Oggi, poiché l’importanza delle applicazioni e delle tecnologie di intelligenza artificiale come ChatGPT e Large Language Models (LLM) continua a crescere, l’importanza di questa discussione non ha fatto altro che aumentare.

Sulla sua traiettoria attuale, l’intelligenza artificiale non farà altro che accelerare la crisi climatica. Al contrario, il nostro cervello è incredibilmente efficiente e consuma circa 20 watt di potenza, più o meno quanto necessario per alimentare una lampadina. Se potessimo applicare tecniche basate sulle neuroscienze all’intelligenza artificiale, esiste un enorme potenziale per ridurre drasticamente la quantità di energia utilizzata per i calcoli e quindi ridurre le emissioni di gas serra. Alla luce dei progressi che hanno plasmato il panorama dell’intelligenza artificiale nell’ultimo anno, questo post sul blog mira a rivisitare le preoccupazioni ambientali sottolineate nel post originale e il modo in cui le tecniche basate sul cervello possono affrontare il costo energetico incredibilmente elevato dell’intelligenza artificiale.

Perché l’intelligenza artificiale consuma così tanta energia?

Innanzitutto, vale la pena capire come funziona un modello di deep learning in termini semplici. I modelli di deep learning, come gli LLM, non sono intelligenti come lo è il tuo cervello. Non apprendono le informazioni in modo strutturato. A differenza di te, non possono interagire con il mondo per apprendere causa ed effetto, contesto o analogie. I modelli di deep learning possono essere visti come tecniche statistiche di “forza bruta” che prosperano su grandi quantità di dati.

Ad esempio, se vuoi addestrare un modello di deep learning a comprendere e scrivere su un gatto, mostragli migliaia di esempi di testo relativi ai gatti. Il modello non capisce che un gatto fa le fusa o è più propenso di un cane a giocare con una piuma. Anche se può emettere un testo che afferma che un gatto fa le fusa, non capisce le fusa nello stesso modo in cui lo fa un bambino, che ha giocato con un gatto e un cane e ha imparato le loro differenze nell’arco di un’ora. Il modello non può comprendere il mondo semplicemente esaminando come le parole e le frasi appaiono insieme. Per fare inferenze, deve essere addestrato su enormi quantità di dati per osservare quante più combinazioni possibili.

L’enorme fabbisogno energetico di questi modelli statistici di forza bruta è dovuto ai seguenti attributi:

  1. Richiede milioni o miliardi di esempi di formazione. Nell’esempio del gatto sono necessarie frasi che descrivano i gatti da diverse prospettive e contesti. Sono necessarie frasi di razze, colori e sfumature diverse. Sono necessarie frasi sui diversi ambienti in cui potrebbero essere trovati i gatti. Esistono tanti modi diversi per descrivere un gatto e il modello deve essere addestrato su volumi di informazioni relative a milioni di concetti diversi che coinvolgono i gatti.
  2. Richiede molti cicli di allenamento. Il processo di addestramento del modello prevede l’apprendimento dagli errori. Se il modello ha erroneamente previsto che la storia di un gatto si concludeva con lui che si godeva felicemente un bagno freddo, il modello riadatta i suoi parametri e affina la sua classificazione, quindi si riqualifica. Impara lentamente dai propri errori, il che richiede molte iterazioni attraverso l’intero set di dati.
  3. Richiede una riqualificazione quando vengono presentate nuove informazioni. Se ora il modello deve scrivere sui cani, cosa di cui non ha mai imparato prima, può utilizzare il contesto fornito nella richiesta sui cani per improvvisare al volo. Tuttavia, potrebbe produrre imprecisioni e non conserverà queste nuove informazioni per un utilizzo futuro. In alternativa, può essere addestrato su questi nuovi dati, ma a costo di dimenticare le sue conoscenze precedenti, cioè i dettagli sui gatti. Per scrivere di cani e gatti, il modello dovrà essere riqualificato fin dall’inizio. Dovrà avere descrizioni sulle razze di cani e sui loro comportamenti aggiunte al set di addestramento ed essere riqualificato da zero. Il modello non può apprendere in modo incrementale.
  4. Richiede molti pesi e molte moltiplicazioni. Una tipica rete neurale ha molte connessioni, o pesi, rappresentati da matrici. Affinché la rete possa calcolare un output, deve eseguire numerose moltiplicazioni di matrici attraverso strati successivi fino a quando alla fine emerge uno schema. In effetti, spesso sono necessari milioni di passaggi per calcolare l’output di un singolo livello! Una rete tipica potrebbe contenere da decine a centinaia di strati, rendendo i calcoli incredibilmente dispendiosi in termini di energia.

Quanta energia consuma l’intelligenza artificiale?

Un articolo dell’Università del Massachusetts Amherst afferma che “l’addestramento di un singolo modello di intelligenza artificiale può emettere tanto carbonio quanto cinque automobili nel corso della loro vita”. Tuttavia, questa analisi riguardava solo un ciclo di allenamento. Quando il modello viene migliorato attraverso l’addestramento ripetuto, il consumo di energia sarà notevolmente maggiore. Molte grandi aziende, che possono formare migliaia e migliaia di modelli ogni giorno, stanno prendendo sul serio la questione. Questo articolo di Meta è un buon esempio di una di queste aziende che sta esplorando l’impatto ambientale dell’intelligenza artificiale, studiando modi per affrontarlo e lanciando inviti all’azione.

Gli ultimi modelli linguistici includono miliardi e persino trilioni di pesi. GPT-4, il LLM che alimenta ChatGPT, ha 1,7 trilioni di parametri di apprendimento automatico. Si dice che siano state necessarie 25.000 GPU Nvidia A100, 90-100 giorni e 100 milioni di dollari per addestrare il modello. Sebbene il consumo di energia non sia stato reso noto, si stima che GPT-4 abbia consumato tra 51.773 MWh e 62.319 MWh , oltre 40 volte superiore a quello consumato dal suo predecessore, GPT-3. Ciò equivale al consumo di energia in 5-6 anni di 1.000 famiglie medie statunitensi.

Si stima che i costi di inferenza e il consumo energetico siano almeno 10 volte superiori ai costi di formazione. Per mettere questo in prospettiva, a gennaio ChatGPT ha consumato all’incirca la stessa quantità di elettricità al mese di 26.000 famiglie statunitensi. Man mano che i modelli diventano sempre più grandi per gestire attività più complesse, la richiesta di server per elaborare i modelli cresce in modo esponenziale.

La potenza dei computer utilizzata nell’addestramento dei sistemi di intelligenza artificiale è aumentata esponenzialmente nell’era del deep learning. Immagine dall’Economist .

Dal 2012, le risorse computazionali necessarie per addestrare questi sistemi di intelligenza artificiale sono raddoppiate ogni 3,4 mesi . Un partner commerciale ci ha detto che i loro modelli di deep learning potrebbero alimentare una città. Questa escalation nel consumo di energia va contro gli obiettivi dichiarati di molte organizzazioni di raggiungere la neutralità del carbonio nel prossimo decennio.

Come possiamo ridurre l’impronta di carbonio dell’IA?

Proponiamo di affrontare questo problema impegnativo prendendo lezioni dal cervello. Il cervello umano è il miglior esempio che abbiamo di un sistema veramente intelligente, eppure funziona con pochissima energia, essenzialmente la stessa energia necessaria per far funzionare una lampadina. Questa efficienza è notevole se paragonata alle inefficienze dei sistemi di deep learning.

Come fa il cervello a funzionare in modo così efficiente? La nostra ricerca, profondamente radicata nelle neuroscienze, suggerisce una tabella di marcia per rendere l’intelligenza artificiale più efficiente. Ecco diverse ragioni alla base della straordinaria capacità del cervello di elaborare i dati senza utilizzare molta energia.

1/ Sparsità

Le informazioni nel cervello sono codificate come rappresentazioni sparse, cioè una lunga stringa composta principalmente da zeri con pochi valori diversi da zero. Questo approccio è diverso dalle tipiche rappresentazioni nei computer, che normalmente sono dense. Poiché le rappresentazioni sparse hanno molti elementi zero, questi possono essere eliminati quando si moltiplicano con altri numeri, utilizzando solo i valori diversi da zero. Nel cervello le rappresentazioni sono estremamente sparse: ben il 98% dei numeri sono zero. Se riusciamo a rappresentare le informazioni in sistemi artificiali con livelli simili di scarsità, possiamo eliminare un numero enorme di calcoli. Abbiamo dimostrato che l’utilizzo di rappresentazioni sparse nelle attività di inferenza nel deep learning può ridurre il consumo energetico da 3 a 100 volte, a seconda della rete, della piattaforma hardware e del tipo di dati, senza alcuna perdita di precisione.

Uno sguardo più da vicino: applicazione della scarsità al machine learning

Ci sono due aspetti chiave della scarsità cerebrale che possono essere tradotti in DNN: scarsità di attivazione  e scarsità di peso . Le reti sparse possono limitare l’attività (sparsità di attivazione) e la connettività (sparsità di peso) dei loro neuroni, il che può ridurre significativamente le dimensioni e la complessità computazionale del modello.

Quando sia i pesi che le attivazioni sono sparsi in una rete neurale, è necessario calcolare un prodotto solo se contiene un elemento diverso da zero, quindi una grande frazione di prodotti può essere eliminata. Immagine adattata da Hunter et al, 2021 .

2/ Dati strutturati

Il tuo cervello costruisce modelli del mondo attraverso flussi di informazioni sensoriali e movimento. Questi modelli possono catturare la struttura 3D dei dati in arrivo, in modo tale che il tuo cervello capisca che la vista del lato sinistro del gatto e la vista del lato destro del gatto non hanno bisogno di essere apprese in modo indipendente. I modelli si basano su qualcosa che chiamiamo “quadri di riferimento”. I quadri di riferimento consentono l’apprendimento strutturato. Ci permettono di costruire modelli che includono le relazioni tra vari oggetti e concetti. Possiamo incorporare l’idea che i gatti possano avere una relazione con gli alberi o le piume senza dover leggere milioni di esempi di gatti con alberi. La costruzione di un modello con quadri di riferimento richiede un numero sostanzialmente inferiore di campioni rispetto ai modelli di deep learning. Con solo alcune descrizioni di esempio di un gatto, il modello dovrebbe essere in grado di trasporre i dati per comprendere descrizioni alternative del gatto, senza essere addestrato specificamente su tali descrizioni. Questo approccio ridurrà la dimensione dei set di addestramento di diversi ordini di grandezza.

Uno sguardo più da vicino: apprendimento strutturato con quadri di riferimento

I fotogrammi di riferimento sono come le linee della griglia su una mappa o le coordinate x,y,z. Ogni fatto che conosci è associato a una posizione in un quadro di riferimento e il tuo cervello si muove costantemente attraverso i quadri di riferimento per ricordare fatti archiviati in posizioni diverse. Ciò ti consente di muovere, ruotare e cambiare le cose nella tua testa. Se qualcuno ti chiedesse di descrivere un gatto blu dei cartoni animati, potresti farlo facilmente. Lo immagineresti immediatamente, in base al tuo quadro di riferimento di come appare un gatto nella vita reale e al colore blu. Ci sono pochissime possibilità che tu possa descrivere una balenottera azzurra o un Puffo dei cartoni animati.

3/ Apprendimento continuo

Il tuo cervello impara cose nuove senza dimenticare ciò che sapeva prima. Quando leggi per la prima volta qualcosa su un animale, ad esempio un coyote, il tuo cervello non ha bisogno di imparare di nuovo tutto quello che sa sui mammiferi. Aggiunge alla sua memoria un quadro di riferimento per il coyote, rilevando somiglianze e differenze rispetto ad altri quadri di riferimento, come un cane, e condividendo comportamenti e azioni comuni, come la caccia. Questo piccolo allenamento incrementale richiede pochissima potenza.

Uno sguardo più da vicino: multitasking e apprendimento continuo con dendriti attivi

Un neurone biologico ha due tipi di dendriti: distali e prossimali. Nei neuroni artificiali che vediamo oggi sono modellati solo i dendriti prossimali. Abbiamo dimostrato che incorporando i dendriti distali nel modello neuronale, la rete è in grado di apprendere nuove informazioni senza cancellare la conoscenza appresa in precedenza, evitando così la necessità di essere riqualificata.

Confronto tra un neurone puntiforme utilizzato nelle tipiche reti di deep learning, un neurone piramidale biologico visto nella neocorteccia e un neurone dendritico attivo che incorpora i principi del neurone piramidale. Immagine adattata da Iyer et al, 2022.

4/ Hardware ottimizzato

L’attuale architettura dei semiconduttori è ottimizzata per il deep learning, dove le reti sono dense e l’apprendimento non è strutturato. Ma se vogliamo creare un’intelligenza artificiale più sostenibile, abbiamo bisogno di hardware in grado di incorporare tutti e tre gli attributi sopra menzionati: scarsità, quadri di riferimento e apprendimento continuo. Abbiamo già creato alcune tecniche per la scarsità. Queste tecniche mappano rappresentazioni sparse in un ambiente informatico denso e migliorano sia l’inferenza che le prestazioni di addestramento. Nel lungo termine, possiamo immaginare architetture ottimizzate per questi principi basati sul cervello che avranno il potenziale per fornire ulteriori miglioramenti delle prestazioni.

Uno sguardo più da vicino: scalabilità senza precedenti sulle CPU

Basandosi su decenni di ricerca nel campo delle neuroscienze, abbiamo creato architetture, strutture dati e algoritmi unici che consentono miglioramenti di costi e velocità da 10 a 150 volte in tutti i LLM, da BERT a GPT, sulle CPU odierne. La possibilità di eseguire questi modelli di grandi dimensioni su CPU riduce non solo i costi e il consumo energetico, ma anche la complessità dell’implementazione dell’infrastruttura IT di un’azienda.

Accelerazione del throughput di GPT-J-6B consentita dalla tecnologia di Numenta rispetto ad altre tecnologie CPU e GPU sul mercato.

Verso un futuro più sostenibile

Continuare a costruire reti di deep learning più grandi e ad alta intensità di calcolo non è un percorso sostenibile per costruire macchine intelligenti. Noi di Numenta crediamo che sia necessario un approccio basato sul cervello per costruire un’intelligenza artificiale efficiente e sostenibile. Dobbiamo sviluppare un’intelligenza artificiale che funzioni in modo più intelligente, non più difficile.

La combinazione di meno calcoli, meno campioni di formazione, meno passaggi di formazione e hardware ottimizzato si traduce in enormi miglioramenti nel consumo di energia. Se avessimo 10 volte meno risorse di calcolo, 10 volte meno campioni di formazione, 10 volte meno passaggi di formazione e 10 volte meno hardware, ciò porterebbe a un sistema complessivamente 10.000 volte più efficiente.

A breve termine, abbiamo creato una piattaforma AI progettata per ridurre sostanzialmente il consumo energetico nell’inferenza sulle CPU. Nel medio termine, stiamo applicando queste tecniche alla formazione e ci aspettiamo un risparmio energetico ancora maggiore riducendo il numero di passaggi di formazione necessari. Nel lungo termine, con l’hardware potenziato, vediamo il potenziale per miglioramenti migliaia di volte.

Astrarsi dal cervello e applicare i principi del cervello alle attuali architetture di deep learning può spingerci verso un nuovo paradigma di intelligenza artificiale che sia sostenibile. Se desideri saperne di più sul nostro lavoro sulla creazione di un’intelligenza artificiale efficiente dal punto di vista energetico, consulta i nostri blog qui sotto.

Leggere infine l’ultimo saggio del nostro Pecchioli: L'Uomo Transumano — Libro di Roberto Pecchioli