Nvidia's Blackwell-chips voeren de benchmarks aan in de training van AI LLM's

Nvidia heeft zijn AI-chips uitgerold naar datacenters en wat het bedrijf noemt AI-fabrieken over de hele wereld. Vandaag heeft het bedrijf aangekondigd dat zijn Blackwell-chips de leiding hebben in de AI-benchmarks. Nvidia en zijn partners versnellen de training en implementatie van next-generation AI-toepassingen die gebruikmaken van de nieuwste ontwikkelingen op het gebied van training en inferentie.

De Nvidia Blackwell-architectuur is ontworpen om te voldoen aan de verhoogde prestatie-eisen van deze nieuwe toepassingen. In de laatste ronde van MLPerf Training — de twaalfde sinds de introductie van de benchmark in 2018 — leverde het Nvidia AI-platform de hoogste prestaties op grote schaal bij elke benchmark en zorgde het voor elk resultaat dat werd ingediend op de meest veeleisende test gericht op grote taalmodellen (LLM): Llama 3.1 405B pretraining.

Uitzonderlijke prestaties van Nvidia

Nvidia prijst zijn prestaties op de MLPerf-training benchmarks. Het Nvidia-platform was het enige dat resultaten indiende op elke MLPerf Training v5.0 benchmark, wat de uitzonderlijke prestaties en veelzijdigheid benadrukt over een breed scala aan AI-werkbelastingen, variërend van LLM's en aanbevelingssystemen tot multimodale LLM's, objectdetectie en grafische neurale netwerken.

De ingediende resultaten op grote schaal gebruikten twee AI-supercomputers aangedreven door het Nvidia Blackwell-platform: Tyche, opgebouwd met Nvidia GB200 NVL72 rack-schaalsystemen, en Nyx, gebaseerd op Nvidia DGX B200-systemen. Bovendien werkte Nvidia samen met CoreWeave en IBM om GB200 NVL72-resultaten in te dienen met in totaal 2.496 Blackwell GPU's en 1.248 Nvidia Grace CPU's.

Verbeteringen in de Blackwell-architectuur

Op de nieuwe Llama 3.1 405B pretraining benchmark, leverde Blackwell 2,2 keer betere prestaties in vergelijking met de architectuur van de voorgaande generatie op dezelfde schaal. Op de Llama 2 70B LoRA fine-tuning benchmark, leverden Nvidia DGX B200-systemen, aangedreven door acht Blackwell GPU's, 2,5 keer meer prestaties in vergelijking met een indiening met hetzelfde aantal GPU's in de vorige ronde.

Deze prestatieverbeteringen benadrukken de vooruitgang in de Blackwell-architectuur, waaronder racks met hoge dichtheid en vloeistofkoeling, 13,4 TB coherente geheugen per rack, vijfde generatie Nvidia NVLink en Nvidia NVLink Switch interconnect-technologieën voor opschaling, en Nvidia Quantum-2 InfiniBand-netwerken voor expansie. Bovendien verhogen innovaties in de Nvidia NeMo Framework-softwarestack de lat voor de training van next-generation multimodale LLM's, wat cruciaal is voor het op de markt brengen van agentic AI-toepassingen.

De toekomst van agentic AI

Deze agentic AI-gedreven toepassingen zullen op een dag draaien in AI-fabrieken — de motoren van de agentic AI-economie. Deze nieuwe toepassingen zullen tokens en waardevolle inzichten genereren die kunnen worden toegepast in bijna elke sector en academisch domein. Het Nvidia datacenterplatform omvat GPU's, CPU's, snelheidsnetwerken en een uitgebreide reeks software zoals Nvidia CUDA-X-bibliotheken, het NeMo Framework, Nvidia TensorRT-LLM en Nvidia Dynamo.

Deze zorgvuldig afgestelde combinatie van hardware- en softwaretechnologieën stelt organisaties in staat om modellen sneller te trainen en in te zetten, waardoor de tijd tot waarde aanzienlijk wordt versneld. Het Nvidia-partnerecosysteem heeft uitgebreid deelgenomen aan deze MLPerf-ronde. Naast de indiening met CoreWeave en IBM, waren er ook andere opvallende indieningen van ASUS, Cisco, en meer.

Conclusie

Met de Blackwell-chips heeft Nvidia niet alleen de benchmarks overtroffen, maar ook een nieuwe standaard gezet voor de ontwikkeling van AI-toepassingen. Dit belooft een spannende toekomst voor zowel de technologie-industrie als de bredere economie, waar AI een steeds belangrijkere rol zal spelen.

Vertaald met ChatGPT gpt-4o-mini