Microsoft Azure si rivolge a NVIDIA H100 per accelerare AI e ChatGPT

Microsoft ha annunciato Quello microsoft azzurrola tua piattaforma di cloud computing, si è rivolto a NVIDIA per dare vita a nuovi server progettati per accelerare l’Intelligenza Artificiale (AI). Nello specifico, Microsoft si è rivolta alle sue GPU top di gamma, le NVIDIA H100.

Va detto che ogni NVIDIA H100 si nasconde all’interno 18.432 core CUDA, tutto grazie ai 4nm di TSMC e all’utilizzo di 80.000 milioni di transistor. Questi nuclei sono accompagnati da niente meno che fino a 80 GB di memoria HBM3che è in grado di raggiungere una larghezza di banda di 3 TB/sec. In particolare, il 50% in più rispetto al suo predecessore, NVIDIA A100.

Tutti questi numeri si traducono in una performance di 60 TFLOP FP64/FP32, 1.000 TFLOP TF32 e 2.000 TFLOP FP16. Riassunto più semplicemente. moltiplicare per tre le prestazioni della NVIDIA A100. Tutta questa potenza è legata ad un elevato costo energetico, visto che si parla un TDP di 700W. Il consumo di energia cresce del 75% in cambio dell’offerta di un miglioramento delle prestazioni fino al 600%. A cui va aggiunto l’aumento della larghezza di banda del 50%.

Microsoft Azure acquisisce migliaia di GPU NVIDIA H100 per accelerare ChatGPT e AI in generale

In sostanza, l’investimento di questa azienda era logico se voleva rimanere all’avanguardia nel gioco dell’IA. Ricorda che Microsoft ha investito centinaia di milioni di dollari in OpenAI, la società dietro ChatGPT. Se a questo aggiungiamo che il suo Il browser Web Edge integra ChatGPTe che vuole utilizzare l’IA in ogni possibile aspetto, anche su Windows, ha senso che l’azienda continui a fare ulteriori investimenti per essere uno dei pionieri dell’IA.

“Mantenere la promessa di un’intelligenza artificiale avanzata per i nostri clienti richiede infrastrutture, servizi e competenze di supercalcolo per far fronte all’aumento esponenziale delle dimensioni e della complessità degli ultimi modelli”, ha affermato la società in una dichiarazione ufficiale.

“La co-progettazione di supercomputer con Azure è stata fondamentale per ridimensionare le nostre esigenti esigenze di formazione sull’IA, consentendo il nostro lavoro di ricerca e allineamento su sistemi come ChatGPT”, ha affermato Greg Brockman, presidente e co-fondatore di OpenAI.

In particolare, Microsoft Azure ha annunciato le sue macchine virtuali ND H100 v5 VM. Queste macchine consentono “lavorare su richiesta nelle taglie da otto a migliaia di GPU NVIDIA H100 interconnesse tramite la rete NVIDIA Quantum-2 InfiniBand“.

Queste GPU sono accompagnate da processori Intel Xeon scalabile Memoria RAM DDR5 di quarta generazione a 4.800 MHz in una configurazione a 16 canali. Continuiamo con l’interfaccia PCIe 5.0 per una larghezza di banda di 64 GB/s per GPU. Abbiamo terminato con la tecnologia NVSwitch e NVLink 4.0 per la larghezza di banda bisezionale tra 8 GPU locali all’interno di ogni VM fino a 3,6 TB/s.

“NVIDIA e Microsoft Azure hanno collaborato su più generazioni di prodotti per portare le principali innovazioni di intelligenza artificiale alle aziende di tutto il mondo. Le macchine virtuali NDv5 H100 contribuiranno a dare vita a una nuova era di applicazioni e servizi di intelligenza artificiale generativa”, ha affermato Ian Buck, vicepresidente di hyperscale e calcolo ad alte prestazioni presso NVIDIA.