Automatische detectie van onregelmatigheden in logbestanden

Abstract

Wanneer software niet werkt zoals verwacht, dan wordt er vaak in logbestanden gekeken. In deze bestanden wordt alle activiteit die op een webserver plaatsvindt geregistreerd. Omdat er op webservers regelmatig meerdere logbestanden aanwezig zijn en deze bestanden vaak uit duizenden tot miljoenen logmeldingen bestaan, is het opsporen van de oorzaak van de ongewenste werking tijdrovend. Dit is de reden waarom er in dit onderzoek gekeken is naar de mogelijkheid om het handmatig opsporen van deze oorzaak tot de verleden tijd te laten behoren. Dit is geprobeerd te bewerkstelligen door het schrijven van een algoritme dat de logbestanden monitort en dat melding geeft wanneer een onregelmatigheid zich voordoet. Allereerst is er gekeken naar een manier voor het vaststellen van een onregelmatigheid. Er is gekozen voor de trendline. Dit is een functie die aan de hand van gedrag in het verleden een lijn opstelt die normaal gedrag representeert. Deze lijn is nodig om te kunnen bepalen of iets afwijkt van het normale gedrag. Vervolgens is er onderzocht welke software er nodig is om logbestanden te monitoren en er voor zorgt dat inhoud van de logmeldingen in een goed toegankelijke database worden opgeslagen. Hiervoor is de ELK-stack gekozen, hiermee kunnen logbestanden worden uitgelezen en worden opgeslagen in een doorzoekbare database. Daarna is er een Java-applicatie geschreven, namelijk Sherlog. Deze applicatie kan de database van logmeldingen benaderen en een algoritme toepassen op alle nieuwe meldingen. Met behulp van de trendline kent dit algoritme aan elke melding een onregelmatigheidsscore toe. Uiteindelijk krijgt de eindgebruiker alleen de meldingen te zien waarvan hij of zij de onregelmatigheid groot genoeg vindt. Als laatste is Sherlog op twee manieren getest. Ten eerste door te kijken of de output ook echt alleen onregelmatigheden bevat. Dit wordt gedaan door de output handmatig te controleren. Ten tweede wordt gekeken of handmatig gegenereerde onregelmatigheden ook gevonden worden door Sherlog. Beide tests gaven een positieve uitkomst, maar het blijkt zo te zijn dat in de normale activiteit van de gebruikte logbestanden te veel fluctuatie zit. Hierdoor worden er veel meldingen als onregelmatig bestempeld die dat alleen zijn omdat er op bepaalde dagen, bijvoorbeeld het weekend, een dip in de activiteit plaats vindt. Dus ondanks dat Sherlog precies doet waarvan gedacht werd dat hij moest doen is er toch nog ruimte voor verbetering.