Wat zit er in het LLM? Ai2 OLMoTrace 'traceert' de bron
Het begrijpen van hoe de output van een groot taalmodel (LLM) overeenkomt met de trainingsdata is al lange tijd een mysterie en een uitdaging voor de IT in ondernemingen. Een nieuw open-source initiatief, deze week gelanceerd door het Allen Institute for AI (Ai2), heeft als doel deze uitdaging aan te pakken door de output van LLM's te traceren naar de trainingsinputs. De OLMoTrace-tool stelt gebruikers in staat om de output van het taalmodel rechtstreeks terug te traceren naar de oorspronkelijke trainingsdata, waardoor een van de belangrijkste barrières voor de adoptie van AI in ondernemingen wordt weggenomen: het gebrek aan transparantie in hoe AI-systemen beslissingen nemen.
OLMo is een acroniem voor Open Language Model, wat ook de naam is van Ai2's familie van open-source LLM's. Op de Ai2 Playground-website kunnen gebruikers OLMoTrace uitproberen met het onlangs vrijgegeven OLMo 2 32B-model. De open-source code is ook beschikbaar op GitHub en is vrij toegankelijk voor iedereen om te gebruiken.
In tegenstelling tot bestaande benaderingen die zich richten op vertrouwensscores of op retrieval-augmented generation, biedt OLMoTrace een directe kijk op de relatie tussen modeloutput en de multi-miljard-token trainingsdatasets die hen hebben gevormd.
“Ons doel is om gebruikers te helpen begrijpen waarom taalmodellen de reacties genereren die ze doen,” zei Jiacheng Liu, onderzoeker bij Ai2, tegen VentureBeat.
Hoe OLMoTrace werkt: Meer dan alleen citaties
LLM's met webzoekfunctionaliteit, zoals Perplexity of ChatGPT Search, kunnen bronvermeldingen geven. Deze citaties zijn echter fundamenteel anders dan wat OLMoTrace doet.
Liu legde uit dat Perplexity en ChatGPT Search gebruikmaken van retrieval-augmented generation (RAG). Met RAG is het doel om de kwaliteit van de modelgeneratie te verbeteren door meer bronnen te bieden dan wat het model is getraind. OLMoTrace is anders omdat het de output van het model zelf traceert zonder enige RAG of externe documentbronnen.
De technologie identificeert lange, unieke tekstsequenties in modeloutputs en koppelt deze aan specifieke documenten uit de trainingscorpus. Wanneer een overeenkomst wordt gevonden, markeert OLMoTrace de relevante tekst en biedt het links naar het oorspronkelijke bronmateriaal, zodat gebruikers precies kunnen zien waar en hoe het model de informatie heeft geleerd die het gebruikt.
Meer dan vertrouwensscores: Tastbaar bewijs van AI-besluitvorming
Bij LLM's worden outputs gegenereerd op basis van modelgewichten die helpen bij het verstrekken van een vertrouwensscore. Het basisidee is dat hoe hoger de vertrouwensscore, hoe nauwkeuriger de output.
In Liu’s visie zijn vertrouwensscores fundamenteel gebrekkig. “Modellen kunnen overmatig zelfverzekerd zijn over wat ze genereren en als je ze vraagt om een score te genereren, is deze meestal opgeblazen,” zei Liu. “Dat is wat academici een calibratiefout noemen - de vertrouwensniveaus die modellen outputten, weerspiegelen niet altijd hoe nauwkeurig hun antwoorden werkelijk zijn.”
In plaats van een ander potentieel misleidend cijfer, biedt OLMoTrace direct bewijs van de leerbronnen van het model, waardoor gebruikers hun eigen geïnformeerde oordelen kunnen vellen.
“Wat OLMoTrace doet, is het tonen van de overeenkomsten tussen modeloutputs en de trainingsdocumenten,” legde Liu uit. “Via de interface kun je direct zien waar de overeenkomstige punten zijn en hoe de modeloutputs samenvallen met de trainingsdocumenten.”
Hoe OLMoTrace zich verhoudt tot andere transparantiebenaderingen
Ai2 is niet alleen in zijn streven naar meer transparantie in AI. Verschillende andere initiatieven en organisaties werken aan manieren om de besluitvorming van AI-systemen beter te begrijpen en uit te leggen. Dit is cruciaal in een tijd waarin bedrijven steeds afhankelijker worden van AI-technologieën. De noodzaak om inzicht te krijgen in hoe deze systemen functioneren, is nog nooit zo belangrijk geweest.
Door tools zoals OLMoTrace kunnen onderzoekers en ontwikkelaars niet alleen de prestaties van hun modellen verbeteren, maar ook de ethiek en verantwoordelijkheid van AI-toepassingen bevorderen. Het begrijpen van de onderliggende mechanismen van LLM's kan bijdragen aan een breder vertrouwen in AI-technologie, wat essentieel is voor een succesvolle implementatie in verschillende sectoren.
De vooruitgang die wordt geboekt met OLMoTrace kan dus een belangrijke stap zijn in de richting van een transparantere en meer verantwoordelijke AI-toekomst.
Vertaald met ChatGPT gpt-4o-mini
