Big Data Logmanagement mit der Anexia Engine
Ein zentrales Logmanagement ist essentiell für die Überwachung und Analyse von größeren IT-Infrastrukturen, damit Probleme frühzeitig erkannt und im schlimmsten Fall Ausfallzeiten so kurz wie möglich gehalten werden können.
Anexia überwacht für seine Kunden rund um die Uhr tausende Netzwerkkomponenten, Server und Applikationen, die über den ganzen Globus verteilt sind. Dabei geht es nicht nur um Metriken und Verfügbarkeiten, auch Sicherheitslücken und Angriffe müssen erkannt werden. Diese Anforderungen haben unter anderem zur Entwicklung des Anexia Engine CloudLog Moduls geführt. CloudLog ist ein Cloud Service, der massenhaft Log- und Metrikdaten aus unterschiedlichsten Systemen speichert und analysiert.
CloudLog unterstützt Vielzahl von Datenquellen
Jedes Gerät, das Logdaten exportiert, kann auch an CloudLog angebunden werden. Der Service bietet eine Vielzahl von standardisierten Schnittstellen an und unterstützt auch die Integration eigener Protokolle. Dabei ist es unbedeutend in welchem Format die Nachrichten übertragen werden. Dynamische Datenmodelle erlauben es, dem Anwender selbst zu definieren wie die Nachrichten behandelt und aufgeschlüsselt werden müssen. Zusätzlich können auch weitere Informationen wie z.B. GeoIP Daten hinzugefügt werden.
Visualisierungstool für grafische Aufbereitung
Nutzer können die Daten während der Einlieferung in Echtzeit verfolgen und filtern. Für ein typisches Troubleshooting-Szenario gibt es eine Live Ansicht des aktuellen Datenstroms. Historische und indizierte Daten können später durch noch komplexere Abfragen durchsucht werden. Anwender können häufig verwendete Suchen abspeichern oder in einen Alarm überführen.
So sieht der Live Viewer aus:
Und so sieht der Daten Viewer aus:
Innerhalb der Anexia Engine kann ein eigenes Visualisierungstool die CloudLog-Daten grafisch darstellen. Dabei kann der Anwender aus Chart- und Dashboard-Vorlagen für vordefinierte Themen und Applikationen wählen, aber auch eigene Visualisierungen definieren. Nutzer können einzelne Charts aber auch das gesamte Dashboard beliebig filtern. Auch mehrere Datenquellen kombiniert können visualisiert werden. Dashboards können zudem im Lese-Modus geteilt werden, was sich beispielsweise sehr gut für Monitoring Bildschirme eignet. Außerdem ist es möglich, einmalige oder periodische PDF Reports aus den Dashboards zu generieren.
Hier ein Beispiel für ein Dashboard:
Alarm-Funktion für Notfälle
Eines der wichtigsten und nützlichsten Features in CloudLog ist die Alarm-Funktion. Damit können Anwender Benachrichtigungen für bestimmte Ereignisse über verschiedenste Kanäle definieren. Dazu gehören neben einfachen Schwellwerten (CPU Load, Traffic, Anzahl der Anfragen etc.) auch komplexe Bedingungen für die Erkennung eines Vorfalls. Zum Beispiel kann das System im Windows Event Log die Ausführung von Ransomware wie WannaCry automatisch erkennen und so Schlimmeres verhindern. Die Benachrichtigung kann per E-Mail, SMS, WebHook und zu Dritt-Anbieter Systemen erfolgen. Dies ermöglicht, dass automatisierte Gegenmaßnahmen eingeleitet werden können.
Technische Informationen
CloudLog ist horizontal skalierbar und bietet branchenübliche und standardisierte Schnittstellen wie syslog, HTTP, E-Mail, einfache TCP/UDP Streams und Kafka. Dadurch können Datenquellen auch mit vorhandenen Services wie Rsyslog, Logstash/Beats, Fluentd oder Flume angebunden werden. Ein eigener Security Layer, welcher mit der Elasticsearch API kompatibel ist, bildet die CloudLog Query API nach außen, worüber Nutzer eigene Anwendungen aber auch externe Visualisierungs- und Analysetools wie Kibana oder Grafana problemlos anbinden können. Dadurch entstehen keine Einschränkungen in der Weiterverarbeitung der Daten, selbst die Rohdaten lassen sich bei Bedarf wieder in vollem Umfang exportieren.
Fazit
Bei der Überwachung von IT-Infrastrukturen, Netzwerkkomponenten, Servern und Applikationen fallen tausende von Daten an. Entscheidend für eine frühzeitige Erkennung von Problemen, Sicherheitslücken oder Angriffen und damit eventuell verbundenen Ausfallzeiten ist ein zentrales Logmanagement. Das Anexia CloudLog Modul analysiert die anfallenden Daten systematisch und bereitet sie grafisch auf, um die Nutzer bestmöglich über Auffälligkeiten zu informieren. Mit ersten Testkunden haben wir verschiedene Anwendungsfälle durchgespielt und unser Modul entsprechende Szenarien angepasst. Dadurch ist CloudLog ein mächtiges Tool geworden, das auf große wie kleine Projekte individuell angepasst werden kann. Für welche Fälle sind Sie noch auf der Suche nach einem Big-Data-Tool? Lassen Sie es uns wissen: info@anexia-engine.com