Hoe Facebooks insider contentmoderatie vormgeeft voor het AI-tijdperk

Bron: TechCrunch AI

Toen Brett Levenson in 2019 Apple verliet om de business integrity bij Facebook te leiden, bevond de sociale-mediegigant zich middenin de nasleep van het Cambridge Analytica-schandaal. Hij dacht aanvankelijk dat hij het probleem van contentmoderatie bij Facebook eenvoudig kon oplossen met betere technologie. Echter, al snel ontdekte hij dat het probleem dieper ging dan alleen technologie.

Mensen die content controleerden, moesten een 40 pagina's tellend beleidsdocument uit hun hoofd leren dat machinevertalingen in hun taal bevatte. Vervolgens hadden ze ongeveer 30 seconden per gemarkeerd stuk content om niet alleen te beslissen of het de regels overtrad, maar ook wat ze ermee moesten doen: blokkeren, de gebruiker verbannen of de verspreiding beperken. Volgens Levenson waren die snelle beslissingen slechts 'iets beter dan 50% accuraat'.

“Het was een beetje als het omgooien van een muntje, of de menselijke beoordelaars de beleidsregels correct konden toepassen, en dit gebeurde vaak dagen nadat de schade al was aangericht”, vertelde Levenson aan TechCrunch.

Die vertraagde, reactieve aanpak is niet houdbaar in een wereld vol wendbare en goed gefinancierde tegenstanders. De opkomst van AI-chatbots heeft het probleem alleen maar verergerd, aangezien falen in contentmoderatie heeft geleid tot een reeks spraakmakende incidenten, zoals chatbots die tieners [begeleiding bij zelfbeschadiging](https://techcrunch.com/2025/11/23/chatgpt-told-them-they-were-special-their-families-say-it-led-to-tragedy/) boden of [AI-gegenereerde beelden](https://techcrunch.com/2026/01/16/california-ag-sends-musks-xai-a-cease-and-desist-order-over-sexual-deepfakes/) die veiligheidsfilters omzeilden.

Levensons frustratie leidde tot het idee van “beleid als code” — een manier om statische beleidsdocumenten om te zetten in uitvoerbare, bijwerkbare logica die nauw verbonden is met handhaving. Dit inzicht leidde tot de oprichting van Moonbounce, dat op vrijdag aankondigde 12 miljoen dollar aan financiering te hebben opgehaald, zoals TechCrunch exclusief heeft vernomen. De financieringsronde werd mede geleid door Amplify Partners en StepStone Group.

De rol van Moonbounce in contentmoderatie

Moonbounce werkt samen met bedrijven om een extra veiligheidslaag te bieden waar content wordt gegenereerd, hetzij door een gebruiker, hetzij door AI. Het bedrijf heeft zijn eigen grote taalmodel getraind om naar de beleidsdocumenten van een klant te kijken, de content in real-time te evalueren, binnen 300 milliseconden een reactie te geven en actie te ondernemen. Afhankelijk van de voorkeur van de klant kan die actie eruitzien als het vertragen van de verspreiding terwijl de content later door een mens wordt beoordeeld, of het kan hoog-risico-content ter plekke blokkeren.

Vandaag de dag bedient Moonbounce drie belangrijke segmenten: platforms die omgaan met door gebruikers gegenereerde content zoals dating-apps; AI-bedrijven die karakters of metgezellen bouwen; en AI-beeldgeneratoren.

Technologische vooruitgang en uitdagingen

De technologische vooruitgang van Moonbounce stelt het bedrijf in staat om meer dan 40 miljoen dagelijkse beoordelingen te ondersteunen en meer dan 100 miljoen dagelijkse actieve gebruikers op zijn platform te bedienen, aldus Levenson. Klanten zijn onder andere de AI metgezel startup Channel AI, het bedrijf voor beeld- en video-generatie Civitai, en karakter rollenspellen.

Door deze innovatieve aanpak hoopt Moonbounce de uitdagingen van contentmoderatie effectief aan te pakken. De combinatie van geavanceerde technologie met menselijke beoordeling biedt een unieke oplossing voor de problemen die sociale-mediaplatforms momenteel ondervinden. Het is een cruciale stap om veilige en betrouwbare online omgevingen te creëren, vooral in een tijd waarin AI-gestuurde content steeds gebruikelijker wordt.

Toekomst van contentmoderatie

De toekomst van contentmoderatie lijkt te liggen in de samenwerking tussen AI en menselijke beoordelaars. Terwijl technologie blijft evolueren, zal het essentieel zijn dat bedrijven zoals Moonbounce zich blijven aanpassen aan de veranderende behoeften en uitdagingen van de industrie. De integratie van beleid als code in contentmoderatieprocessen kan niet alleen de efficiëntie verbeteren, maar ook de nauwkeurigheid van beslissingen verhogen.

In een wereld waar technologie en sociale interactie steeds meer met elkaar verweven raken, is het cruciaal dat platforms de juiste strategieën implementeren om gebruikersveiligheid te waarborgen. De inzet van AI als hulpmiddel in contentmoderatie vertegenwoordigt een significante stap voorwaarts, maar er blijft veel werk aan de winkel om ervoor te zorgen dat alle gebruikers een veilige online ervaring hebben.

Vertaald met ChatGPT gpt-4o-mini