Splunk implementatie

Wat komt er allemaal kijken bij een Splunk implementatie?

Splunk wordt ook wel de Google van IT data genoemd. Splunk is bekend geworden omdat het op een ongelofelijk snelle manier door logdata heen kan spitten. Dit wordt ook nog eens gepresenteerd via een simpele zoekbalk zoals we die ook kennen van de veel gebruikte zoekmachine.

Splunk is echter veel meer dan dat. Zowel de bewaking van IT hardware en software is mogelijk en daarnaast gaat Splunk zich ook steeds meer positioneren als Big Data tool door data uit allerlei data bronnen toegankelijk te maken via de eenvoudig te gebruiken zoekinterface.

Het neerzetten van een goede Splunk omgeving is echter geen makkelijke opdracht. Zeker niet in omgevingen waar veiligheid heel belangrijk is.

Een Splunk implementatie bestaat uit een aantal fasen:

  1. Ontwerp Splunk infrastructuur
  2. Installeren en configureren van de software
  3. Koppeling met de verschillende data bronnen

Op dat moment is de data in Splunk beschikbaar en kun je middels queries specifieke data tevoorschijn halen en presenteren.

Splunk infrastructuur

De keuze voor de opzet van een Splunk infrastructuur is afhankelijk van de hoeveelheid data die je gaat verwerken, de opzet van je netwerk en de infrastructuur waar je de data vandaan wilt halen.

De volgende opzetten zijn mogelijk:

  1. Small  – 1 Splunk server. Data wordt lokaal opgehaald of via syslog. Queries en indexing gebeurt op dezelfde server. Perfect voor demo’s, testomgevingen of een zeer kleine installatie.
  2. Medium – 1 Splunk indexing en zoek server. 1 of meerdere forwarders. Data kan lokaal bij de verschillende componenten opgehaald worden of via syslog aangeboden worden. Queries en indexing gebeurd op de centrale server.
  3. Large – 1 Splunk zoek en deployment server. 1 of meerdere indexing servers. 1 of meerdere forwarders. Dat kan lokaal bij de verschillende componenten opgehaald worden of via syslog aangeboden worden. Indexing gebeurd op de desbetreffende servers en het zoeken gebeurd op een aparte server.
  4. Larger – Zoals bovenstaand maar de zoek servers zijn dan ook nog eens uitgesplitst en verdelen het werk onderling.

In de meeste gevallen wordt er voor optie 2 gekozen. Als de omgeving eenmaal begint te groeien en je merkt dat je tegen limieten aanloopt kun je er altijd nog voor kiezen om functionaliteit uit elkaar te trekken.

Splunk en Virtualisatie

Als je Splunk gevirtualiseerd wil draaien moet je op een aantal zaken letten.

  • CPU. Indexers en search heads (zoek-servers) hebben toegang tot dedicated CPU resources nodig om goed te functioneren. Zorg dat je instances zo geconfigureerd zijn dat ze prioriteit krijgen als ze daar om vragen.
  • Disk I/O. Dit is de grootste bottleneck voor slechte performance. Zowel op VMWare als op fysiek. Zorg dat je minimaal 800 IOPS tot je beschikking hebt.

Hulp nodig?

Wil je dat ik help bij het opzetten van een Splunk omgeving? Ik kan een assesment uitvoeren op de bestaande omgeving of adviseren bij het opzetten van een nieuwe omgeving. Schroom niet om contact met mij op te nemen. Mailen of bellen (+31625021766) mag altijd!

Over Coen Meerbeek

Splunk consultant @ Blue Factory, eigenaar en oprichter @ BuzzardLabs, basketbalspeler en Xbox-gamer. Lees meer van Coen op Launchers.nl en Twitter.

Laat wat van je horen

*