Google onthult ultra-klein en efficiënt open source AI-model Gemma 3 270M dat op smartphones kan draaien

Het AI-onderzoeksteam van Google DeepMind heeft vandaag een nieuw open source AI-model onthuld: Gemma 3 270M. Zoals de naam al doet vermoeden, is dit een model met 270 miljoen parameters — aanzienlijk kleiner dan de 70 miljard of meer parameters van veel vooraanstaande grote taalmodellen (LLM's), waarbij parameters de interne instellingen zijn die het gedrag van het model bepalen.

Hoewel meer parameters over het algemeen resulteren in een groter en krachtiger model, ligt de focus van Google met dit model juist bijna in het tegenovergestelde: hoge efficiëntie. Dit biedt ontwikkelaars een model dat klein genoeg is om rechtstreeks op smartphones en lokaal te draaien, zonder een internetverbinding, zoals aangetoond in interne tests op een Pixel 9 Pro SoC.

Toch is het model nog steeds in staat om complexe, domeinspecifieke taken aan te kunnen en kan het in slechts enkele minuten snel worden aangepast aan de behoeften van een bedrijf of onafhankelijke ontwikkelaar.

AI-schaal bereiken zijn grenzen

De beperkingen van kracht, stijgende tokenkosten en vertragingen bij inferentie herdefiniëren de enterprise AI-omgeving. Sluit je aan bij onze exclusieve bijeenkomst om te ontdekken hoe topteams:

Beveilig je plaats om voorop te blijven lopen.

Prestaties op lichte hardware

Op het sociale netwerk X voegde Omar Sanseviero, AI Developer Relations Engineer bij Google DeepMind, toe dat Gemma 3 270M ook rechtstreeks in de webbrowser van een gebruiker kan draaien, op een Raspberry Pi en zelfs "in je broodrooster", wat de mogelijkheden benadrukt om op zeer lichte hardware te functioneren.

Gemma 3 270M combineert 170 miljoen embedding parameters — dankzij een grote vocabulaire van 256k die in staat is om zeldzame en specifieke tokens te verwerken — met 100 miljoen transformerblokparameters. Volgens Google ondersteunt de architectuur sterke prestaties bij het volgen van instructies, direct uit de doos, terwijl het klein genoeg blijft voor snelle aanpassing en implementatie op apparaten met beperkte middelen, waaronder mobiele hardware.

Architectuur en compatibiliteit

Gemma 3 270M erft de architectuur en voortraining van de grotere Gemma 3-modellen, wat zorgt voor compatibiliteit binnen het Gemma-ecosysteem. Met documentatie, aanpassingsrecepten en implementatiehandleidingen beschikbaar voor tools zoals Hugging Face, UnSloth en JAX, kunnen ontwikkelaars snel van experimenteren naar implementeren.

Hoog scorend op benchmarks

Op de IFEval-benchmark, die de mogelijkheid van een model om instructies te volgen meet, scoorde de instructie-aangepaste Gemma 3 270M 51,2%. Deze score plaatst het ver boven andere vergelijkbare kleine modellen zoals SmolLM2 135M Instruct en Qwen 2.5 0.5B Instruct, en dichter bij de prestatiegroep van sommige miljard-parameter modellen, volgens de gepubliceerde vergelijking van Google.

Echter, zoals onderzoekers en leiders bij de rivaliserende AI-startup Liquid AI in reacties op X opmerkten, heeft Google het eigen LFM2-350M-model van Liquid niet meegenomen, dat in juli van dit jaar werd uitgebracht en een indrukwekkende score van 65,12% behaalde met slechts enkele extra parameters.

Energie-efficiëntie als kracht

Een van de definierende sterke punten van het model is de energie-efficiëntie. In interne tests met het INT4-gekwantiseerde model op een Pixel 9 Pro SoC, verbruikte het model slechts een fractie van de energie in vergelijking met grotere modellen, wat het ideaal maakt voor gebruik op mobiele apparaten en andere situaties waar energieverbruik cruciaal is.

Vertaald met ChatGPT gpt-4o-mini