Op 9 maart 20:30 uur was het zover, de finale van Wie is de Mol? 2019. Bij deze zenuwslopende ontknoping werd eindelijk bekend wie in geheim de boel bedroog. Natuurlijk waren zogeheten Molloten daarvoor al druk bezig om de Mol te ontmaskeren. Hints werden fanatiek verzameld op tal van sites. Antagonist host één van de belangrijkste: WieisdeMolHints.nl. De onthulling bracht ons ook een onverwachte uitdaging…
WieisdeMolHints.nl is een initiatief van Tom Beekhuis die alle verborgen hints, tips en aanwijzingen verzamelt. Bij Antagonist houden we van dit soort sites, zeker onze systeembeheerders. Ongekende drukte, enorme piekmomenten en heel veel data. Het toetst onze infrastructuur, monitoring en flexibiliteit. Dat zorgt voor uitdagingen. Zo moest er die zaterdagavond een tandje bij, door de enorme explosie aan bezoekers. Hoe zag de tijdlijn rond de finale eruit?
Aan de bak!
Om 21:44 uur kregen onze systeembeheerders een melding dat Apache (de webserver) op s210 (de fysieke server waarop WieisdeMolHints.nl staat) het zwaar te verduren had. Een minuut later zagen we dat er gigantisch veel aanvragen (lees: bezoekers) via WieisdeMolHints.nl binnenkwamen. Op dat moment waren dat er meer dan 400 tegelijk.
Binnen 2 minuten maatregelen getroffen
Tussen 21:46 en 21:52 uur hebben we daarom de capaciteit opgeschroefd en een aantal limieten flink verhoogd. Om 21:52 uur is de webserver (Apache) gefaseerd herstart om meer simultane aanvragen te kunnen accepteren. De website ondervond hiervan geen downtime. Wel konden enkele bezoekers mogelijk kort voelen dat de website verminderd bereikbaar was. Simpelweg, doordat ze door de limiet op simultane aanvragen in een ‘wachtrij’ kwamen.
Zo zien 400 aanvragen per seconde richting een website op een server eruit…
Na de snelle herstart van Apache was dat verholpen en kon de website 600 aanvragen tegelijk ontvangen. Met pieken gebeurde dat ook. Ter vergelijking, normaal heeft een hele server (!) tussen de 25 en 45 simultane aanvragen. De limieten zijn er trouwens voor de veiligheid, zoals tegen DDoS-aanvallen. Gezien de hoeveelheid data leek het daar die avond ook wel een beetje op 😉
Heel veel data
WieisdeMolHints.nl deed zaterdagavond een korte periode (zo’n 30 minuten) 50 tot 60 keer (met pieken naar 80) meer dataverkeer dan wat normaal een hele server doet. Vergelijk het met een snelweg waar de avondspits ineens 60 keer drukker is dan normaal. De kans op files neemt dan flink toe. Hetzelfde geldt voor de simultane aanvragen, die lagen ineens 20 tot 25 keer hoger dan wat de hele server normaal doet. Gelukkig konden we een opstopping voorkomen, want dat betekent bij ons verminderd bereikbare websites.
Qua dataverkeer verbruikte de website vanaf 21:35 uur gemiddeld 600 Mbit per seconde met pieken tot 800 Mbit per seconde. Met zo’n snelheid kun je in slechts 47 seconden een anderhalf uur durende film volledig en in hoge kwaliteit op Netflix streamen. Normaal doet een hele server tussen de 2 en 20 Mbit per seconde (afhankelijk van de ‘spitsuren’). Tot en met 9 maart is er zo’n 1,4 Terabyte aan dataverkeer verwerkt. Specifiek op zaterdagavond was dat ongeveer 0,5 TB. Ter vergelijking, in januari was dat 2,6 TB en in februari 2,2 TB voor een hele maand.
Waar ‘m de uitdaging in zit
Het opvallende is de hoeveelheid data dat nagenoeg allemaal op hetzelfde moment binnenkomt en verwerkt moet worden. Duizenden aanvragen verspreid over een paar uur zijn geen probleem. Zo’n drukte hebben websites bij ons wel vaker. Het wordt uitdagender, wanneer alles exact tegelijk komt.
Zie het als een gang met een deur. In een paar uur tijd kunnen daar prima duizenden mensen doorheen lopen. Dan is het wel druk, maar te overzien. Maar wanneer alle mensen op exact hetzelfde moment door de deur willen, dan wordt het duwen en trekken, en loopt de gang waarschijnlijk vol.
In de weken ervoor zagen we dat WieisdeMolHints.nl qua dataverkeer en resources (dat zijn de gangen) het wel vaker druk had. Geen probleem. Echter, tijdens en na de finale van Wie is de Mol? ging het vooral om de simultane aanvragen (die tegelijk door één deur moeten). Dat alles tegelijk kwam, was het spannend en interessant. Want wat doe je dan?
Simpelweg binnen een paar minuten een grotere deur of extra deuren erin metselen, kan niet… Als hoster ben je daar beperkt in, want de techniek houdt gewoon op. Net als bij een bestaand gebouw, kun je er niet ineens à la minute extra deuren erin plaatsen. Gelukkig is onze infrastructuur flexibel ingericht en dat biedt mogelijkheden, zonder dat we standaard een overkill aan extra deuren hoeven in te kopen (want dat is erg duur).
Maar hoe voorkom je dan een opstopping?
De gang voor de deur is eigenlijk groot genoeg. Door daar een gecontroleerde wachtrij te creëren en al wel deeltjes van de website te serveren, merken bezoekers eigenlijk niet dat ze wachten. De bezoekers blijven daardoor rustig, netjes en gestructureerd wachten in de gang.
Om een website goed te laten functioneren, moeten erop de server processen geladen worden. Normaliter kunnen die bij een bezoek allemaal tegelijk gestart worden (of zijn al gestart). Echter, bij grote drukte kun je daar onderscheid in maken, waardoor je processen met prioriteit voorrang geeft.
Verder zijn ons platform en dus ook onze deuren flexibel ingericht. Zodoende gebruikt een website eigenlijk maar een klein stukje van een veel grotere deur. Bij grote drukte kan er dus wat geleend worden van onderdelen die het op dat moment niet nodig hebben. Zo ontstaat er tijdelijk een grotere deur (dat wil je wel zorgvuldig monitoren).
Voor in het Molboekje
Antagonist heeft tienduizenden klanten en 20 medewerkers. Dat betekent dat we heel veel automatiseren door slim om te gaan met hardware, software en de innovatieve koppelingen ertussen. Zo kunnen we direct als een geoliede machine te werk gaan, wanneer iets onverwachts optreedt.
Automatisering zit al sinds de oprichting in 2004 in het DNA van Antagonist verweven. Elke dag werken we met passie en plezier aan een prachtig platform. Wat 15 jaar geleden als jongensdroom begon, is werkelijkheid geworden. In al die jaren groeide het team en de expertise door onze kennis te verbreden, te verdiepen in nieuwe mogelijkheden en te experimenteren met baanbrekende technologieën.
Toch zijn we niet uitgeleerd. Door onze nieuwsgierigheid en honger naar verbetering grijpen we elke kans aan om van te leren. Deze situatie is daarom intern uitvoerig besproken en (met goedkeuring van Tom Beekhuis) verwerkt tot casestudy. Hierdoor kwamen een paar kleine verbeterpunten naar boven. Zodoende gaan we de detectie en het ophogen van limieten op simultane aanvragen verder automatiseren.
WieisdeMolHints.nl niet gevoelig voor molstreken…
Ons hostingplatform is breed gedimensioneerd en onze servers zijn monsters. Zodoende gaat het bijschakelen van extra capaciteit bijzonder gemakkelijk, waardoor klanten in dit soort extreme gevallen niet (of nauwelijks) hinder ondervinden. Noem ons nerds, maar hier kicken wij wel een beetje op.
Met de bezoekersaantallen die een website als WieisdeMolHints.nl haalt, zit je zo in de top 5% van de drukbezochtste websites ter wereld. Toch kon deze website het aan op een Slim-pakket, waar andere een dedicated server nodig hebben. Kortom, WieisdeMolHints.nl zit goed in elkaar en heeft een prachtige prestatie geleverd. Knap werk, Tom! Tof dat wij jouw website mogen hosten 🙂
Over Wie is de Mol?
In Wie is de Mol? reizen tien deelnemers naar een buitenlandse bestemming. Daar voeren ze opdrachten uit, waarmee ze geld kunnen verdienen voor de pot. De opdrachten vereisen vaak een sterk onderling vertrouwen en een goede samenwerking. Alleen, één van de deelnemers speelt de rol van de Mol. Die heeft voorkennis en saboteert daarmee de opdrachten
De andere deelnemers moeten deze bedrieger ontmaskeren. Zeker geen makkelijke klus, tunnelvisie licht al snel op de loer.. Je kennis van de Mol wordt telkens getoetst. Weet je in de tests het minst, dan val je af. Verdenk je de juiste persoon en weet je uiteindelijk het meest, dan win je en ga je er met het verdiende geld vandoor.
P.S. Blijf op de hoogte en volg ons via Facebook, X, Instagram, e-mail en RSS. Heb je vragen, tips of opmerkingen? Laat het achter als reactie. Vond je het artikel nuttig? Deel het dan met anderen!
