technologia

icon-cloud-integrated-shield

 

Webroot w testach

 

Bardzo często słyszy się negatywne opinie na temat produktów, które uzyskują niskie noty w testach niezależnych organizacji. Taka sytuacja zdarzyła się w przypadku oprogramowania Webroot, które w testach AV Comparatives w 2012 roku uzyskiwało dość niskie oceny w kategorii wykrywalności. Bardzo łatwo wyciągnąć pochopne wnioski i zdyskredytować oprogramowanie, które na to nie zasługuje.

Mike Malloy wicedyrektor generalny odpowiedzialny za rozwój produktu w firmie Webroot postanowił bliżej przyjrzeć się całej sprawie. Wnioski do jakich doszedł po wizycie w siedzibie AV Comparatives w Insbrucku są bardzo ciekawe i zaskakujące. Okazuje się, że metodologia testowania programów antywirusowych zastosowana przez AV Comparatives nie sprawdza się absolutnie dla rozwiązań działających w chmurze. Po pierwsze, to producenci testowanych antywirusów dostarczają paczki wirusów do testów co już wydaje się być mocnym niedociągnięciem. Po drugie algorytm testowania jest zbyt prosty. Skrypt uruchamia złośliwy program lub URL i sprawdza zachowanie programu. Jeśli w ciągu kilku minut nie nastąpi jedna z akcji – zablokowanie, dopuszczenie lub monit do użytkownika o podjęcie akcji wynik zapisywany jest jako porażka. Dla Webroota jest to po prostu za mało czasu. W momencie uruchomienia podejrzanej aplikacji jest ona monitorowana i weryfikowana w chmurze. Proces ten czasem zajmuje nawet kilka godzin. Jednocześnie tworzony jest dziennik wszystkich operacji i procesów jakie wykonała dana aplikacja. Po zweryfikowaniu zagrożenia jest ono zablokowane a wszystkie działania jakie wykonało zostają odwrócone. Inżynierowie techniczni Webroota po analizie paczek testowych stwierdzili, że Webroot pod warunkiem, że miałby na to więcej czasu wychwyciłby wszystkie zagrożenia z wyjątkiem trzech. Stawiałoby go to na równi ze zwycięzcą ówczesnego testu – Bitdefenderem z wynikiem 99,9% skuteczności.

Warto również wspomnieć o tym, że warunki testowe nijak się nie przekładają na to w jakim środowisku pracujemy na co dzień. W testach AV Comparatives program antywirusowy jest testowany na maszynie zainfekowanej przez 950 000 wirusów. Łatwo sobie wyobrazić, że nie jest to raczej sytuacja, z którą spotykamy się na co dzień. Oprogramowanie Webroot nie jest stworzone po to aby dobrze radzić sobie w testach ale po to aby jak najlepiej chronić użytkownika w realnym środowisku.

Po dogłębnej analizie metodologii testów oraz działania programu Webroot SecureAnywhere organizacja AV Comparatives wystosowała oficjalną informację, w której przyznaje, że na chwilę obecną nie jest w stanie miarodajnie ocenić oprogramowania działającego w takiej architekturze jak Webroot. W związku z tym program nie będzie brał udział w testach w roku 2013 aż do opracowania właściwej metodologii, która właściwie i obiektywnie oceni jego skuteczność.

Jak widać na podstawie powyższej analizy nie należy ślepo wierzyć w wyniki niezależnych testów. O ile sprawdzają się one w przypadku tradycyjnego oprogramowania opartego na sygnaturach to stają się praktycznie bezużyteczne w przypadku programu działającego w chmurze.

Źródła:

Webroot Bombs in Dynamic Protection Test. Why?.
19.07.2012. [http://securitywatch.pcmag.com/security-software/300445-webroot-bombs-in-dynamic-protection-test-why]

AV-Comparatives April results.
15.05.2012. [http://community.webroot.com/t5/Webroot-SecureAnywhere-Complete/AV-Comparatives-April-results/td-p]

Summary Report
12. 2012. s.179. [http://www.av-comparatives.org/images/docs/avc_sum_201212_en.pdf]

daniel


 Daniel Ciepły    
Product manager