De verborgen schaalcliff die je agentuitrol kan breken

Bedrijven die agents willen bouwen en schalen, moeten ook een andere realiteit omarmen: agents worden niet gebouwd zoals andere software. Volgens May Habib, CEO en mede-oprichter van Writer, zijn agents “categorisch anders” in hoe ze worden ontwikkeld, hoe ze functioneren en hoe ze worden verbeterd. Dit betekent dat de traditionele levenscyclus van softwareontwikkeling moet worden losgelaten bij het omgaan met adaptieve systemen.

“Agents volgen niet betrouwbaar regels,” zei Habib woensdag op het podium van VB Transform. “Ze zijn resultaatgericht. Ze interpreteren. Ze passen zich aan. En het gedrag komt eigenlijk alleen tot uiting in echte omgevingen.”

Weten wat werkt – en wat niet werkt – komt uit Habibs ervaring met het helpen van honderden ondernemingsklanten bij het bouwen en schalen van agents van ondernemingskwaliteit. Volgens Habib zijn meer dan 350 van de Fortune 1000 klanten van Writer, en meer dan de helft van de Fortune 500 zal tegen het einde van 2025 agents schalen met Writer.

Het gebruik van niet-deterministische technologie om krachtige resultaten te produceren kan zelfs “echt nachtmerrieachtig” zijn, aldus Habib – vooral wanneer geprobeerd wordt om agents systematisch op te schalen. Zelfs als ondernemingsgroepen agents kunnen opzetten zonder productmanagers en ontwerpers, denkt Habib dat een “PM-mentaliteit” nog steeds nodig is voor samenwerking, bouwen, itereren en onderhouden van agents.

“Helaas of gelukkig, afhankelijk van je perspectief, zal de IT het nakijken hebben als zij hun zakelijke tegenhangers niet leiden naar die nieuwe manier van bouwen.”

Waarom doelgerichte agents de juiste benadering zijn

Een van de verschuivingen in denken omvat het begrijpen van de uitkomstgerichte aard van agents. Bijvoorbeeld, ze zei dat veel klanten agents aanvragen om hun juridische teams te helpen bij het beoordelen of aanpassen van contracten. Maar dat is te open-ended. In plaats daarvan betekent een doelgerichte benadering dat een agent wordt ontworpen om de tijd die aan het beoordelen en aanpassen van contracten wordt besteed, te verminderen.

“In de traditionele levenscyclus van softwareontwikkeling ontwerp je voor een deterministische set van zeer voorspelbare stappen,” zei Habib. “Het is input erin, output eruit op een meer deterministische manier. Maar met agents probeer je agentgedrag te vormen. Dus je zoekt minder naar een gecontroleerde stroom en veel meer naar het geven van context en het begeleiden van besluitvorming door de agent.”

Een ander verschil is het bouwen van een blauwdruk voor agents die hen instrueert met zakelijke logica, in plaats van hen workflows te geven om te volgen. Dit omvat het ontwerpen van redeneerloops en samenwerken met onderwerpsexperts om processen in kaart te brengen die gewenst gedrag bevorderen.

Hoewel er veel gesproken wordt over het schalen van agents, helpt Writer de meeste klanten nog steeds met het één voor één bouwen ervan. Dat komt omdat het eerst belangrijk is om vragen te beantwoorden over wie de agent bezit en auditeert, wie ervoor zorgt dat deze relevant blijft en wie controleert of deze nog steeds de gewenste resultaten oplevert.

“Er is een schaalcliff waar mensen heel snel tegenaan lopen zonder een nieuwe aanpak voor het bouwen en schalen van agents,” zei Habib. “Er is een cliff waar mensen tegenaan gaan lopen wanneer de mogelijkheid van hun organisatie om agents verantwoordelijk te beheren, echt sneller groeit dan het tempo van de ontwikkeling die afdeling voor afdeling plaatsvindt.”

Kwaliteitsborging voor agents versus software

Kwaliteitsborging is ook anders voor agents. In plaats van een objectieve checklist, omvat agentevaluatie het rekening houden met niet-binaire gedragingen en het beoordelen hoe agents zich gedragen in echte situaties. Dat komt omdat falen niet een eenvoudige uitkomst is; het is een complex proces waarbij veel factoren een rol spelen.

Bij het evalueren van agents is het essentieel om de context van hun prestaties te begrijpen. Dit gaat verder dan alleen het controleren van of ze de regels volgen; het gaat om het begrijpen van hun effectiviteit in realistische scenario's. Dit vereist een meer dynamische en flexibele benadering van kwaliteitsborging, waarbij de nadruk ligt op iteratie en continue verbetering, in plaats van het vaststellen van statische normen.

In de wereld van technologie en AI is het van cruciaal belang dat agents niet alleen functioneren volgens vooraf bepaalde richtlijnen, maar ook kunnen leren en zich aanpassen aan nieuwe informatie en omstandigheden. Dit is een uitdaging die vraagt om een nieuwe manier van denken over hoe we de prestaties van agents evalueren en verbeteren.

Het is duidelijk dat de toekomst van AI en agents niet alleen ligt in de technologie zelf, maar ook in de manier waarop we deze technologie benaderen en beheren. Het bouwen, schalen en evalueren van agents vereist een andere mindset, een die zich richt op samenwerking, creativiteit en adaptiviteit. Dit zal essentieel zijn voor organisaties die willen slagen in het steeds veranderende landschap van technologie.

Vertaald met ChatGPT gpt-4o-mini