Wer schon etwas länger in der IT Industrie arbeitet, kennt das Marktforschungsunternehmen Gartner. Auch ich komme immer wieder in Kontakt mit den neusten Erkenntnissen von Gartner bzw. mit den neuen magischen Quadranten («Gartner Magic Quadrant»). Für diverse Bereiche werden jährlich, oder sogar öfters, Marktanalysen durchgeführt, um die jeweils besten Lösungen in ein sogenanntes Magic Quandrant zu positionieren. Pech gehabt haben die Lösungen, die sich nicht oben Rechts im «Leader Quadrant» gelistet werden.

Gartner Magic Quadrant
Quelle: https://www.gartner.com/en/research/methodologies/magic-quadrants-research (14.05.2019)

Ohne Anspruch auf Richtigkeit gehe ich bei Gartner davon aus, dass sie jeweils mit ein paar grossen Kunden in den USA reden und anhand den Interviews oder Umfragen eine Einschätzung der Lösungen durchführen. Nebst den Quadranten gibt’s auch noch ein paar schriftliche Statements und Erfahrungsberichte, wie z.B. viele Kunden behaupten, dass der Support bei der Firma XY schlechter wurde usw.

Wer möchte die Informationen und wieviel ist man bereit dafür zu bezahlen? Einerseits sind es die Hersteller der Lösungen, die sich bei einer guten Positionierung im Quadranten zusätzliche Verkäufe erhoffen. Meist werden diese Reports dem interessierten Kunden «kostenfrei» (nach einer Registrierung) zur Verfügung gestellt. Andererseits gibt’s Unternehmen, die sich für $100’000 und mehr einen freien Zugang zu allen Gartner Reports leisten können. Natürlich kann ein Unternehmen die Reports auch einzeln kaufen, z.B. für eine Marktanalyse vor oder während einer Produkte- oder Herstellerevaluation.

Interessant ist die Tatsache, dass Gartner mit diesem Test sehr viel Macht hat, die Märkte zu definieren und Trends festzulegen. Zum Beispiel existiert gleichzeitig ein UTM  und ein Enterprise Network Firewall-Vergleich, obwohl heutzutage kaum ein Unterschied in der Funktionalität gemacht werden kann. Aber scheinbar ist dies für Gartner lukrativ.

Quelle: Gartner (Oktober 2018)
Quelle: Gartner (September 2018)

Als technisch orientierter Mensch sind die Gartner Analysen zwar interessant, jedoch nicht sehr aussagekräftig. Funktioniert nun die Lösung XY gut? Schützt sie das Unternehmen korrekt und umfassend?

Quelle: NSS Labs (2018)

Hier kommt NSS Labs ins Spiel. Im Gegensatz zu Gartner testet NSS Labs die Lösungen mit ihrer Schwachstellen-Datenbank auf Herz und Nieren und veröffentlicht anschliessend ihre Erkenntnisse in sogenannten «Comparative Reports». Aus meiner Sicht sind die Testergebnisse sicher aussagekräftiger als die Reports von Gartner, aber trotzdem nicht der Weisheit letzter Schluss.

Um beim Beispiel der Firewalls zu bleiben, NSS Labs kreiert 2018 einen Next Generation Firewall Comparative Report inklusive Security Value Maptm (SVM).

Die zwei Achsen «TCO per Protected Mbps» und «Security Effectiveness» definieren die Koordinaten der Positionierung. Je weiter oben rechts, desto günstiger und effektiver die Lösung.

Problematisch ist aus meiner Sicht der Begriff TCO, wie setzt sich dieser zusammen? Ist TCO gleichbedeutend mit Anschaffungspreis oder der Preis für den Betrieb inkl. die Zeit, die man für Support, Schulung und Migrationskosten aufwenden muss? Welche Geräte werden für den Test ausgewählt? Werden diese Firewalls auch korrekt konfiguriert? Besteht das Firewall-Regelwerk aus einer oder 300 Regeln? Ist das Logging der Regeln aktiviert? Handelt es sich um ein Cluster oder um ein einzelnes Gerät? Mit welcher Malware wurden die Geräte bombardiert? Wie aktuell sind die Angriffsmethoden?

Der Zeitpunkt bzw. die eingesetzte Version kann auch heikel sein. Beispielsweise ist Check Point mit einer Betaversion von R80.20 ins Rennen gestiegen und hat dadurch ziemlich schlecht abgeschnitten. Kurz darauf wurde ein, vermutlich bezahlter, Nachtest durchgeführt in welchem plötzlich fast 100% der Malware/Angriffe erkannt wurden.

Zwei Folgerungen meinerseits:

  • die Tests sind nur Momentanaufnahmen, die vielleicht schon morgen so nicht mehr stimmen; und
  • wichtiger als das eigentliche Produkt ist die korrekte Konfiguration und der Einsatz von stabilen Releases.

Links:

Die aktuellen Best-of-Breed Firewalls von AVANTEC: www.avantec.ch/themen/enterprise-firewalls/