Over A/B tests in Forge of Empires

Arsenal

Community Manager
Teamleden
Community Manager
logo.png

Koningen en Koninginnen,
Heersers en Heerseressen,


We hebben recentelijk veel vragen en opmerkingen van jullie gekregen over A/B tests en de uitvoering van die tests. Deze berichten hadden met name betrekking op de Forge Plus koets en de dagelijkse uitdagingen. Het lijkt ons daarom een goed idee om via deze weg met jullie te delen hoe we A/B tests uitvoeren en waarom ze zo belangrijk zijn om Forge of Empires verder te ontwikkelen.

Laten we beginnen met uitleggen wat A/B tests precies zijn. Een A/B test is een veelgebruikt type test om te zien en te meten wat de reactie van spelers is op een bepaalde feature. Tijdens zo'n test worden spelers willekeurig verdeeld over verschillende groepen; vaak gaat het om twee groepen. Hierbij krijgt de ene groep (groep A) toegang tot de nieuwe feature en de andere groep (groep B) niet. Vervolgens kijken we hoe de feature het gedrag van spelers beïnvloed en vergelijken we de twee groepen. Zo komen we erachter wat de impact van de nieuwe feature op het spel is. Hierbij verzamelen we kwalitatieve en kwantitatieve feedback. Dat betekent dat we de data van de A/B test vergelijken en op plekken zoals het forum feedback verzamelen.

Als voorbeeld kijken we naar de test met de dagelijkse uitdagingen. Tussen de groepen A en B vergelijken we verschillende aspecten zoals deelname aan de uitdagingen, hoe lang de feature actief wordt gebruikt en wat voor spelers de uitdagingen aangaan. Hierdoor komen we erachter of de nieuwe feature toegevoegde waarde heeft en of spelers blij zijn met de verandering. Als de resultaten van de test laten zien dat de reactie op de nieuwe feature overwegend negatief is, dan kunnen we kijken of daar een oplossing voor is. We kunnen dan de feature aanpassen of besluiten hem volledig te verwijderen.

Daarom zijn A/B tests essentieel voor het spel. Ze geven ons belangrijke data over een nieuwe feature op een echte spelwereld met veel verschillende en actieve spelers. Met die data kunnen we de feature verder ontwikkelen en mogelijke problemen oplossen.

Het beschikbaar maken van een nieuwe feature voor een kleinere groep spelers zorgt ook dat we meer geconcentreerde en effectievere feedback kunnen verzamelen en dat we kunnen voorkomen dat een negatieve uitwerking van een feature grootschalige frustratie opwekt bij alle spelers tegelijk.

Forge of Empires is een groot spel. We hebben wereldwijd honderdduizenden spelers, verdeeld over heel veel werelden. Dat betekent ook dat er veel fout kan gaan. A/B tests zijn absoluut noodzakelijk om het risico van het implementeren van een nieuwe feature te beperken voor zo'n grote hoeveelheid spelers. De gevolgen van het implementeren van een feature die we niet grondig hebben getest, kunnen erg vervelend zijn voor zowel jullie als voor ons.

Als laatste willen we benadrukken dat A/B tests willekeurig worden uitgevoerd en we geen spelers kunnen selecteren om al dan niet in de testgroep terecht te komen. Geen enkele speler zal door de test lange termijnvoordelen krijgen of van tevoren worden geselecteerd om deel te nemen. Zoals je wellicht hebt gezien, hebben we ook wel eens nieuwe features niet getest met een A/B test, juist omdat het voordeel voor de ene groep te groot zou zijn ten opzichte van de andere groep. Dat willen we voorkomen, om het spel zo eerlijk mogelijk te houden. De selectie van spelers voor een testgroep is volledig willekeurig zowel om het proces voor spelers eerlijk te houden, als om de kwaliteit van de uitkomsten van een dergelijke test te waarborgen.

We hopen dat dit bericht wat meer duidelijkheid schept over hoe A/B tests werken en waarom we ze gebruiken voor huidige en nieuwe spelelementen.

Met vriendelijke groet,
Jouw Forge of Empires Team
 
Bovenaan