Liquid AI revolutioneert LLM's voor edge-apparaten met nieuw ‘Hyena Edge’-model
Liquid AI, de in Boston gevestigde startup voor fundamentele modellen die is voortgekomen uit het Massachusetts Institute of Technology (MIT), streeft ernaar om de technologie-industrie verder te helpen dan de afhankelijkheid van de Transformer-architectuur. Deze architectuur vormt de basis van de meeste populaire grote taalmodellen (LLM's), zoals de GPT-serie van OpenAI en de Gemini-familie van Google.
Gisteren kondigde het bedrijf het model ‘Hyena Edge’ aan, een nieuw convolutioneel multi-hybride model dat is ontworpen voor smartphones en andere edge-apparaten. Dit gebeurde ter voorbereiding op de International Conference on Learning Representations (ICLR) 2025, een van de belangrijkste evenementen op het gebied van machine learning-onderzoek, die dit jaar in Singapore plaatsvindt.
Belofte van snellere en efficiëntere AI aan de rand
Hyena Edge is ontwikkeld om sterke Transformer-benchmarkmodellen te overtreffen op het gebied van rekenefficiëntie en de kwaliteit van taalmodellen. In praktijktests op een Samsung Galaxy S24 Ultra-smartphone toonde het model lagere latentie, een kleinere geheugencapaciteit en betere benchmarkresultaten in vergelijking met een parameter-gematcht Transformer++-model.
Een nieuwe architectuur voor een nieuw tijdperk van edge AI
In tegenstelling tot de meeste kleine modellen die zijn ontworpen voor mobiele inzet — waaronder SmolLM2, de Phi-modellen en Llama 3.2 1B — wijkt Hyena Edge af van traditionele ontwerpen die zwaar leunen op aandachtmechanismen. In plaats daarvan vervangt het strategisch twee derde van de grouped-query attention (GQA) operators door gated convoluties uit de Hyena-Y-familie.
De nieuwe architectuur is het resultaat van Liquid AI's Synthesis of Tailored Architectures (STAR) raamwerk, dat gebruik maakt van evolutionaire algoritmen om automatisch modelstructuren te ontwerpen en dat in december 2024 werd aangekondigd. STAR verkent een breed scala aan operatorcomposities, geworteld in de wiskundige theorie van lineaire invoervariërende systemen, om te optimaliseren voor meerdere hardware-specifieke doelen zoals latentie, geheugengebruik en kwaliteit.
Direct getest op consumentenhardware
Om de gereedheid van Hyena Edge voor de praktijk te valideren, heeft Liquid AI tests uitgevoerd op de Samsung Galaxy S24 Ultra-smartphone. De resultaten tonen aan dat Hyena Edge tot 30% snellere prefill- en decode-latenties behaalde vergeleken met zijn Transformer++ tegenhanger, waarbij de snelheidstoename groter werd bij langere sequentielengtes.
De prefill-latenties bij korte sequentielengtes overtroffen ook de Transformer-benchmark — een cruciale prestatiemaatstaf voor responsieve toepassingen op apparaten. Wat betreft geheugen verbruikte Hyena Edge consequent minder RAM tijdens inferentie over alle geteste sequentielengtes, wat het positioneert als een sterke kandidaat voor omgevingen met strikte hulpbronnenbeperkingen.
Superieure prestaties op taalbenchmarks
Hyena Edge werd getraind op 100 miljard tokens en geëvalueerd aan de hand van standaard benchmarks voor kleine taalmodellen, waaronder Wikitext, Lambada, PiQA, HellaSwag, Winogrande, ARC-easy en ARC-challenge. Deze benchmarks zijn essentieel om de prestaties van modellen te vergelijken en te begrijpen hoe goed ze presteren in verschillende contexten.
Met de introductie van Hyena Edge toont Liquid AI aan dat het mogelijk is om krachtige AI-oplossingen te bieden die niet alleen efficiënt zijn, maar ook goed functioneren op de apparaten die we dagelijks gebruiken. Dit kan een belangrijke stap zijn in de evolutie van AI-technologie, waarbij de focus ligt op toegankelijkheid en gebruiksgemak voor iedereen.
Vertaald met ChatGPT gpt-4o-mini
