De noodzaak van een nieuw besturingssysteem, speciaal ontwikkeld voor AI

AI-werkbelastingen worden verwerkt op manieren die totaal verschillend zijn van de systemen die de afgelopen decennia bedrijfsapplicaties hebben uitgevoerd. We bewegen ons snel naar een wereld van miljoenen GPU's - ingezet van cloud-AI-fabrieken tot edge-apparaten - die deelnemen aan continue cycli van inferentie, besluitvorming en modelverbetering.

Deze omgevingen worden niet aangedreven door traditionele bedrijfssoftware. Ze vereisen systemen die in staat zijn om enorme hoeveelheden ongestructureerde, echte gegevens - beelden, video, telemetrie en tekst - in real-time te verwerken, op een schaal die gemeten wordt in exabytes. En legacy-infrastructuur, gebouwd voor transactionele en analytische werkbelastingen, kan simpelweg niet bijhouden.

Daarom is er een nieuw soort besturingssysteem nodig - eentje die is ontworpen voor de unieke eisen van AI op het gebied van gegevens, rekencapaciteit en infrastructuur.

Wat houdt de AI-infrastructuur tegen?

De grootste infrastructuuruitdagingen waarmee AI vandaag de dag wordt geconfronteerd, zijn geen hardwarebeperkingen. Ze zijn geworteld in systeemontwerp. Het merendeel van de huidige infrastructuur volgt nog steeds een "shared-nothing" model, gepopulariseerd door internetpioniers zoals Google in de vroege jaren 2000. In deze aanpak wordt data opgesplitst in partities en verspreid over servers om horizontaal te kunnen schalen.

Dit was ideaal voor de problemen van die tijd, maar schaalt niet goed voor AI-omgevingen, waar miljoenen processors gelijktijdig toegang nodig hebben tot gedeelde data. Naarmate deze traditionele clusters groeien, neemt ook de coördinatie-overhead toe, wat prestatieknelpunten creëert voor real-time, hoge-concurrentie werkbelastingen zoals AI-agentinferentie en continue feedbackloops.

VAST Data zag deze uitdaging vroegtijdig en creëerde een alternatief: een gedisaggregeerd, wereldwijd gegevensplatform dat speciaal is gebouwd voor AI.

Een verschuiving naar gedisaggregeerde, parallelle architecturen

De oplossing vereist een andere aanpak. In plaats van data over servers te partitioneren, wat als elke processor gelijktijdig toegang zou hebben tot elke byte aan data, zonder dat er oost-westverkeer tussen knooppunten nodig is? En wat als dit mogelijk zou zijn met standaardnetwerken en commerciële hardware?

Dit idee leidde tot een nieuwe architectuur die bekendstaat als DASE (Disaggregated and Shared-Everything). VAST Data heeft deze aanpak pionierswerk verricht, door rekencapaciteit van opslag te scheiden terwijl alle data wereldwijd toegankelijk zijn met hoge snelheid. Het stelt CPU's en GPU's in staat om data direct te lezen en te schrijven zonder coördinatievertragingen. Geen partities, geen afhankelijkheidsketens, en geen cascaderende vertragingen naarmate systemen groeien tot tienduizenden processors.

Het levert ook aanzienlijke verbeteringen in veerkracht, kosten efficiëntie en real-time toegang. De gedisaggregeerde infrastructuur van VAST ondersteunt geavanceerde gegevensbeschermingsschema's en globale wiskundige codering, waardoor de opslagkosten dalen terwijl de betrouwbaarheid toeneemt. Het kan enorme hoeveelheden data verwerken, zonder in te boeten op consistentie of beschikbaarheid - twee essentiële vereisten voor moderne AI-platforms.

Van opslagplatform naar AI-besturingssysteem

Vroege gebruikers zagen VAST aanvankelijk als een next-generation, hoog-prestatie opslagplatform. Maar de makers zagen iets ambitieuzers voor ogen: een gegevensplatform-besturingssysteem voor AI-infrastructuur.

Net zoals besturingssystemen in het verleden CPU's, geheugen en opslag beheerden voor conventionele applicaties, moet het AI-besturingssysteem data, rekencapaciteit en AI-agenten orkestreren over uitgestrekte, gedistribueerde omgevingen, terwijl het governance, beveiliging en real-time responsiviteit behoudt.

Dit is geen theoretisch idee. Het neemt al vorm aan in het VAST AI-besturingssysteem, waar een schaalbare, datacentralen basis niet alleen opslag ondersteunt, maar ook rekencapaciteit en AI-runtime-diensten. De VAST DataEngine biedt een containeromgeving voor het implementeren van gedistribueerde Python-functies en microservices op grote schaal.

Vertaald met ChatGPT gpt-4o-mini