Als er meer equivarianties worden verwerkt in neurale netwerken die met reinforcement learning worden getraind, worden ze dan beter in het spelen van Snake?

Abstract

Er is onderzocht wat de invloed van het verwerken van equivariantie in neurale netwerken is op de prestaties in het spelen van het spel Snake. De netwerken zijn getraind met een variant van het reinforcement learning algoritme Monte Carlo Exploring Starts. Het verwerken van equivarianties verbetert in sommige situaties de prestaties van de netwerken. De netwerken die equivariant zijn onder translatie presteren beter dan degene die dat niet is. Het netwerk dat daarnaast equivariant is onder roteren en spiegelen, presteert bij veel beschikbare ervaring beter dan het netwerk dat alleen gebruikmaakt van equivariantie onder translatie, en evenveel trainbare parameters heeft. Het presteert echter slechter als het andere netwerk evenveel rekencapaciteit wordt gegeven, en dus meer trainbare parameters. Dit laatste netwerk heeft echter juist meer slechte uitschieters als er minder data beschikbaar zijn. De gemiddelde prestaties verschillen echter niet significant.