L’ingresso dei neocloud sta ridefinendo il mercato dei data center AI, sfidando gli hyperscaler con modelli che dimezzano i costi infrastrutturali. Un trend da seguire nel lungo periodo, perché è nel tempo che si proverà la sua validità, come scrivono gli analisti di Analysys Mason.
I neocloud includono aziende come CoreWeave e Crusoe, che hanno già raggiunto dimensioni nei loro data center tali da influenzare i costi dell’intero ecosistema Ai, diventando un nuovo punto di riferimento per operatori, investitori e clienti.
“I neocloud, gli ultimi arrivati nel mercato delle infrastrutture per l’Ai, offrono unità di elaborazione grafica come servizio (GPUaaS) e sviluppano data center dedicati all’Ai a un costo di capitale per megawatt pari a circa la metà di quello delle infrastrutture cloud tradizionali”, scrivono gli analisti di Analysys Mason. “Non si tratta più di un esperimento di nicchia: CoreWeave ha dichiarato una capacità di potenza attiva di oltre 1 GW e Crusoe ha annunciato 4,9 GW sotto contratto. La loro struttura dei costi influenza il prezzo del calcolo nell’intero ecosistema dell’Ai, stabilendo un punto di riferimento rispetto al quale vengono ora valutati sviluppatori, operatori, investitori e clienti di data center”.
Indice degli argomenti
Data center Ai, l’avanzata dei neocloud
La forza dei neocloud è un modello infrastrutturale progettato fin dall’inizio per i carichi di lavoro di Ai. Grazie all’elevata densità di calcolo delle nuove Gpu, i neocloud riescono a concentrare molta più potenza in spazi ridotti, costruendo data center più compatti e meno costosi rispetto a quelli tradizionali. Anche il passaggio al raffreddamento a liquido contribuisce a migliorare l’efficienza energetica e a ridurre la complessità degli impianti.
Un altro elemento distintivo è l’approccio alla resilienza. Mentre i data center cloud tradizionali sono progettati per garantire continuità quasi assoluta, molti carichi di lavoro Ai – in particolare l’addestramento dei modelli – possono tollerare brevi interruzioni. Questo consente ai neocloud di limitare la ridondanza hardware e ridurre ulteriormente i costi, affidando parte della resilienza al software, che è in grado di riprendere automaticamente le attività e distribuire i carichi tra più siti.
Questa maggiore flessibilità permette inoltre di costruire i data center dove energia e terreno sono più convenienti, senza la necessità di trovarsi vicino ai tradizionali hub digitali. Ne deriva un modello di espansione più rapido e scalabile.
Cambio di paradigma, costi dimezzati
Il risparmio più evidente deriva dagli edifici stessi: i neocloud richiedono semplicemente meno infrastrutture fisiche. Un data center tradizionale, sia per aziende che per centri di colocation, è solitamente progettato attorno a rack che consumano dai 5 ai 20 kW di potenza.
Un rack all’avanguardia basato su Nvidia GB300 assorbe fino a 142 kW e si prevede che i rack VR200 di nuova generazione assorbiranno 220 kW (con la roadmap di Nvidia che menziona rack da 1 MW in futuro). A queste densità, un dato carico It occupa un decimo dello spazio disponibile o anche meno: un’implementazione da 100 MW che un tempo avrebbe richiesto più di 10.000 rack (considerando rack da 10 kW) e l’equivalente di diversi campi da calcio di spazio tecnico può ora essere ospitata in meno di 1.000 rack (considerando rack da 100 kW). Terreno, acciaio, cemento e manodopera edile sono tutti fattori che aumentano con la superficie. Riducendo l’ingombro necessario, i neocloud possono ridurre drasticamente il costo dell’edificio stesso, che in genere rappresenta circa il 15% del costo totale di capitale.
Il raffreddamento a liquido diretto (DLC), che rende possibili tali densità, offre una seconda fonte di risparmio, meno ovvia: il circuito di raffreddamento dell’impianto può funzionare a temperature molto più elevate. A seconda della piattaforma, le temperature di alimentazione del refrigerante secondario variano da circa 30 °C a 45 °C, rispetto ai sistemi ad acqua refrigerata utilizzati negli impianti raffreddati ad aria, che generalmente operano a circa 20 °C. A temperature di circa 40 °C, a seconda della progettazione dell’impianto e del clima locale, i refrigeratori meccanici possono diventare in gran parte superflui, poiché i refrigeratori a secco possono dissipare calore durante tutto l’anno. L’eliminazione dei refrigeratori riduce i costi e le dimensioni dell’infrastruttura elettrica di supporto, contribuendo a migliorare l’efficienza energetica (PUE) da 1,3-1,5, valore tipicamente raggiunto dagli impianti raffreddati ad aria efficienti, a circa 1,1-1,2.
Resilienza dimensionata correttamente
Un altro elemento che differenzia i neocloud è quello del dimensionamento della resilienza, che permette di pagare solo per la ridondanza necessaria. Ciò è reso possibile dalle caratteristiche stesse dei carichi di lavoro Ai.
Le infrastrutture cloud tradizionali si basano su ampie misure di resilienza, tra cui la manutenibilità simultanea, sistemi di alimentazione 2N, gruppi di continuità (UPS) che coprono l’intero carico It e flotte di generatori in grado di alimentare il sito a tempo indeterminato (in genere architetture equivalenti a Tier III o Tier IV) – un livello di ridondanza è molto costoso.
Ma i carichi di lavoro di addestramento dell’Ai e i processi di inferenza non critici sono in genere molto meno sensibili al fattore tempo rispetto ai carichi di lavoro cloud, il che consente di ripensare la progettazione. Quando un’interruzione di corrente interrompe un processo di addestramento dell’Ai, il carico di lavoro può in genere riprendere dal checkpoint più recente anziché ricominciare da zero. Di conseguenza, il costo di un’interruzione può essere limitato a pochi secondi o minuti di tempo di calcolo Gpu perso, a seconda di fattori quali la frequenza dei checkpoint, il tempo di ripristino e la scalabilità del cluster.
L’ottimizzazione dei data center Ai dei neocloud
I data center Ai ottimizzati per i neocloud si sono quindi allontanati dalla pratica tradizionale di duplicare ogni elemento dell’infrastruttura di alimentazione. Invece di implementare catene di alimentazione 2N completamente ridondanti, prediligono architetture a riserva condivisa, come configurazioni 4N/3 o blocchi “di recupero” che alimentano contemporaneamente più sale. UPs e generatori sono riservati alle apparecchiature il cui guasto potrebbe causare la perdita di dati o interrompere le operazioni del sito, inclusi sistemi di storage, di rete e di orchestrazione.
Nei paesi con reti elettriche affidabili, i cluster Gpu spesso funzionano senza una flotta di generatori diesel di backup dimensionata per supportare l’intero carico It. Il risultato è un costo per megawatt significativamente inferiore, ottenuto sacrificando un grado di resilienza che molti carichi di lavoro di intelligenza artificiale semplicemente non richiedono.
La resilienza del software e libertà in situ
Analysys Mason spiega ancora che ciò che rende la ridondanza ridimensionata ancora più rilevante è il fatto che la resilienza si è in parte spostata dall’edificio allo stack software. I moderni framework di training eseguono checkpoint continui e riprogrammano il lavoro in base ai nodi guasti; sempre più spesso, distribuiscono anche una singola sessione di addestramento su più data center. Questo approccio “scale-across” trasforma un piccolo numero di siti, individualmente meno resilienti, in un unico grande cluster virtuale: se un sito subisce un’interruzione, le prestazioni potrebbero degradare, ma la sessione di addestramento può continuare.
Oltre a migliorare la resilienza, la condivisione dell’infrastruttura tra diverse sedi consente agli operatori di combinare la capacità tra i vari siti, supportando sessioni di addestramento di dimensioni superiori a quelle che un singolo campus potrebbe ospitare.
Lo stesso allentamento dei vincoli permette ulteriori risparmi sulla scelta dei siti dei data center dei neocloud. I carichi di lavoro di addestramento dell’Ai tollerano la latenza, quindi un data center per l’Ai non deve più essere situato vicino a un hub metropolitano in fibra ottica, dove il terreno e l’energia sono spesso più costosi. I neocloud si sviluppano dove l’energia è economica e l’accesso alla rete è disponibile, inclusi siti industriali dismessi, località vicine a centrali elettriche sottoutilizzate o impianti di mining di criptovalute riconvertiti con connessioni alla rete esistenti.
Data center come prodotto replicabile in scala
I data center tradizionali sono progetti di costruzione su misura: ogni sito viene progettato individualmente e gran parte dei costi è legata alla progettazione, all’integrazione e alla messa in servizio specifiche per il sito. Gli specialisti di intelligenza artificiale stanno cambiando questo approccio, trattando il data center come un prodotto replicabile su larga scala. I fornitori di chip e i grandi integratori pubblicano ora progetti di riferimento che specificano il rack, il sistema di alimentazione e il circuito di raffreddamento come un unico sistema coerente, e i fornitori di apparecchiature rispondono con moduli standardizzati e prefabbricati (ad esempio, sale elettriche su skid, impianti di raffreddamento preassemblati, rack pre-assemblati) che vengono assemblati e pre-commissionati in fabbrica prima di raggiungere il sito.
I risparmi si moltiplicano. Lo sforzo di progettazione viene ammortizzato su molte costruzioni identiche anziché essere ripetuto per ciascuna. I test in fabbrica sostituiscono mesi di messa in servizio in loco. I tempi di costruzione si riducono da 24 mesi o più a circa 12 mesi o meno. Tempi di realizzazione più brevi riducono i costi di finanziamento e accelerano il time to revenue, garantendo che le Gpu – risorse che si deprezzano rapidamente indipendentemente dal loro utilizzo – inizino a generare ricavi prima.
Le incertezze a lungo termine
Tutto perfetto? Analysys Mason chiarisce che queste ottimizzazioni di progettazione si basano su una premessa fondamentale: si tratta di data center concepiti per supportare l’addestramento dell’Ai su larga scala o carichi di lavoro di inferenza a bassa criticità.
Con la diversificazione e la scalabilità dei casi d’uso dell’Ai, è probabile che emerga un numero crescente di carichi di lavoro di inferenza critici in termini di tempo, con una maggiore sensibilità alla latenza e impegni più stringenti in termini di livelli di servizio. Per queste applicazioni, alcuni dei compromessi descritti in precedenza dovranno essere riconsiderati, richiedendo l’ammodernamento di parte della base installata.
A lungo termine, sarà fondamentale valutare in che modo i cicli di vita più brevi delle Gpu e i crescenti requisiti di resilienza di alcuni carichi di lavoro di Ai influenzeranno l’economia complessiva delle infrastrutture. Questo permetterà di determinare come il costo totale di proprietà delle infrastrutture ottimizzate per l’intelligenza artificiale si confronti con quello dei tradizionali data center cloud, la cui durata può estendersi ben oltre i 25 anni.
Partecipa alla community