Het idee achter IT Operations Analytics – Deel 1

IT Operations Analytics (ITOA) is een aanpak of methode toegepast op software ontworpen om data voor IT Operations op te halen, te analyseren en te presenteren. Het wordt ook wel de Big Data Analytics voor IT genoemd.

ITOA software wordt gebruikt om complexe patronen in grote hoeveelheden performance en availability data te herkennen. Er wordt tegenwoordig in de IT zoveel gemeten dat het voor een IT Ops gebruiker niet meer mogelijk is om daar verdachte zaken in te herkennen. Hij zal software nodig hebben om dit te doen.

Deze post introduceert ITOA en geeft je handvatten om de verschillende data sets te herkennen binnen je eigen organisatie.

ITOA gebruikt Big Data principes

Waar Big Data in het begin vooral gebruikt werd voor marketing of R&D zag je dat de klant behoefte had aan software om de grote hoeveelheden datasets door te ploegen. Een dataset is een eigenlijk een grote bak data uit 1 bron. Bijvoorbeeld; winkelverkopen, klantgedrag, weergegevens, inkomensgegevens, etc.

Deze Big Data software liep 3 fasen door:
1. Verzamelen / extraheren
2. Opslaan en indexeren
3. Analyseren en visualiseren

Voor ITOA zijn de bovenstaande 3 stappen niet anders en dezelfde software kan gebruikt worden.

De shift van tools-driven naar data-driven IT Ops

Wat we de afgelopen jaren hebben gezien is dat organisaties een veelvoud aan tools naar binnen fietsen om alle zwarte gaten in hun monitoring af te dichten. Dit heeft geresulteerd in een wildgroei aan tools waarin veel overlap zit en doordat de expertise verdeeld is over de organisatie kan IT Ops er niet mee werken. Dit levert geen betere kwaliteit op naar de eindgebruiker en dus ook niet voor de organisatie.

Het is de verantwoording van het IT management om de organisatie data-driven i.p.v. tool-driven te maken. Zij moeten denken in termen van samengevoegde monitoring bronnen en niet in termen van log management, synthetische monitoring of real user monitoring.

De ITOA monitoring architectuur moet de gehele applicatie delivery keten overspannen en niet alleen de applicatie stack. Door de SOA architectuur zijn er veel hoeveelheden afhankelijkheden tussen applicaties en die krijg je niet in 1 tool bewaakt.

Als IT Ops hun Mean-Time-to-Resolution (MTTR) wil halveren en hun eindgebruikerservaring wil verbeteren moeten ze de mogelijkheid hebben om over alle data-sets heen te kijken. Als zij dit kunnen is het eenvoudig om andere teams als het SOC of de netwerkbeheerders ook aan te laten sluiten zodat er over de gehele organisatie dezelfde taal gesproken wordt.

Garbage in = Garbage out!

Het is een cliche maar zeker waar in het geval van Big Data. Als de bronnen niet op orde zijn gaat je analyse mislukken. Voor veel data analysten is het belangrijk dat de input eerst langs een aantal criteria gelegd wordt te weten;

1. Accuraatheid
2. Signaal-ruisverhouding
3. Betrouwbaarheid
4. Compleetheid

Om weg te gaan uit een tool-driven aanpak moeten we eerst de data-sets gaan definiëren. In mijn ervaring als Performance Consultant bij instellingen als Ziggo, Rabobank, Nuon en verschillende ministeries heb ik er vier gezien; wire, machine, agent en synthetic. Dit zijn de bronnen voor de ITOA aanpak binnen een organisatie. Elke bron geeft op zijn manier inzicht in de status van het IT landschap.

Wire Data

Wire data input

Wire data is de data die door het netwerk stroomt en afgetapt wordt. Alle applicatie communicatie tussen clients, applicaties, machines en systemen gaan door het netwerk en dat maakt deze data-set zeer belangrijk voor een volledig beeld. Het is vaak ook een van de grootste bronnen omdat ik uit ervaring weet dat het verkeer uit bijvoorbeeld een Internetbankieren applicatie gigantisch is.

Het is belangrijk om in ogenschouw te hebben dat een netwerkpakket nog geen wire data is. Meerdere pakketten moeten samengevoegd worden tot sessie of transactie data.

Wire data karakteristieken

  • een IT perspectief van buiten naar binnen
  • een onafhankelijke blik op IT over alle activiteiten over alle systemen
  • dekt zowel On-Premise als Cloud gebaseerde netwerken omdat ze altijd een keer door een netwerk moeten
  • grootste bron van data voor ITOA

Hoe het wire data platform werkt

  • real-time transformatie van netwerkpakketten in gestructureerde data
  • architectuur is schaalbaar en gebaseerd op grote hoeveelheden data
  • passieve monitor zonder enige impact op het bestaande verkeer
  • auto-discovery van relaties tussen applicaties en systemen
  • snel in te richten en weinig onderhoud

Wire data leveranciers

Machine Data

Machine data input

Machine data bevat alle event logs, SNMP, WMI informatie en meer. Eigenlijk alles dat een machine opslaat over zijn eigen activiteiten. Wat er van machine data opgeslagen wordt is primair bepaald door wat een ontwikkelaar belangrijk vond om op te slaan als event of metriek van het systeem of de applicatie.

Machine data karakteristieken

  • een IT perspectief van binnen naar buiten
  • een host-based perspectief van machines over meerdere tiers heen
  • voor-geprogrammeerde event-data
  • kan overhead genereren op de systemen
  • op 1 na grootste databron voor ITOA

Hoe het machine data platform werkt

  • extraheren, doorsturen, opslaan en indexeren van machine data
  • bestaat uit een gedistribueerde architectuur van forwarders, indexers en search heads.
  • kan third-party data binnenhalen zoals wire en agent data als het third-party platform het data formaat en/of hun Common Information Model accepteert.

Machine data leveranciers

Agent Data

Agent data input

Agent data bevat alle geinstrumenteerde en geobserveerde data die door een agent op de machine gevonden is. Dit kan een agent op het OS, applicatie of in de hypervisor zijn. Deze informatie bevat zaken als systeem gebruik en code-level stack-trace informatie.

Agent data karakteristieken

  • host-gebaseerd gedrag
  • meet en verzamelt vaak voor-gedefinieerde host en/of appliatie metrieken
  • geeft de mogelijkheid om extra data te extraheren o.b.v. instructies
  • op twee na grootste databron voor ITOA.

Hoe het agent data platform werkt

  • architectuur gebaseerd op agents die analyses op de host loslaten en de data terugsturen naar een centrale server
  • door diepe integratie in het platform is veel data op te halen
  • overhead mogelijk indien slecht ingericht
  • kan third-party data binnenhalen als het third-party platform het data formaat en/of hun Common Information Model accepteert.

Agent data leveranciers

Synthetic Data

Synthetic data input

Synthetic data wordt gegenereerd door robots die vooraf gedefinieerde checks uitvoeren. Dit stelt IT Ops in staat om transacties te testen vanuit meerdere locaties zodat je ook inzicht in je IT landschap hebt als er geen verkeer is.

Synthetic data karakteristieken

  • een IT perspectief van buiten naar binnen
  • test de performance en availability van applicaties
  • gebruikt nagespeelde gebruikersacties
  • zichtbaarheid is beperkt tot de gesimuleerde transacties en bevat een beperkte scope
  • zeer onderhoudsgevoelig bij wijzigingen in de applicatie
  • testdata nodig om goed beeld te geven

Hoe het synthetic data platform werkt

  • Vooraf gedefinieerde checks worden volgens ingesteld schema op de applicatie afgevuurd
  • Om een accuraat beeld te geven worden robots op dezelfde plekken geplaatst als waar de eindgebruiker zich bevind
  • deployment is eenvoudig maar het inrichten van de checks kan complex zijn en is onderhoudsgevoelig

Synthetic data leveranciers

Afsluiting

Dit is een post die opgesplitst in twee delen. In dit eerste deel heb je inzicht gekregen in de data-sets die benodigd zijn om ITOA in te richten in je organisatie. In de tweede post gaan we verder op deze inrichting in.

Over Coen Meerbeek

Splunk consultant @ Blue Factory, eigenaar en oprichter @ BuzzardLabs, basketbalspeler en Xbox-gamer. Lees meer van Coen op Launchers.nl en Twitter.

Laat wat van je horen

*