Суть тестирования VB100 заключается в проверке антивирусным модулем коллекций "диких вирусов" (Wildlist) и "чистых файлов" (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не "назвавший" вирусом ни одного файла из второго списка, удостаивается награды VB100%.
Однако, как утверждают независимые вирусные аналитики, в последнее время эта методика сильно устарела и не может считаться адекватной для определения качества антивируса. Это связано с тем, что тестеры не раскрывают состав обеих коллекций, но известно, что Wildlist пополняется крайне медленно и только определенными типами вирусов — под Windows. Претензии со стороны антивирусных вендоров также касаются и количества вирусов в коллекции — апрельский VB100 проходил на 700 вирусах, а августовский увеличился всего лишь на несколько десятков семплов.
Кроме тестирования на Wildlist, специалисты VirusBulletin дополнительно выводят результаты тестирования на собственной подборке вирусов (колонки Worms, File inspectors, Polimorphic и Trojans), которые не влияют на получение награды VB100. По мнению Ивана Стогова, эксперта портала Anti-Malware, антивирусные вендоры выходят из теста Virus Bulletin, так как признают его методику не соответствующей действительности. Эти демарши Trend Micro и "Доктор Веб" (а первый из них совершила Panda Antivirus еще в 2003 г.) являются попыткой показать ущербность VB100 в его настоящем состоянии. Как отметил в разговоре с CNews Борис Шаров, директор "Доктор Веб", подборка VirusBulletin покрывает всего лишь 10–15% всего вредоносного ПО: "Основным критерием составления Wildlist является реплицируемость (воспроизводимость — CNews) вирусов, поэтому различные полиморфные троянские программы, составляющие до 80% детектируемых вирусов, не входят в нее. По этой причине судить о качестве антивируса по прохождению теста на таком малом количестве материала не приходится".
"Оставшиеся в тесте вендоры, такие, как Eset и Symantec (особенно первый) уже исторически строят свою рекламную стратегию на VB100% и специально затачиваются под его прохождение. Критиковать, а тем более выходить из этого теста для них абсолютно невыгодно. Другие же, как „Лаборатория Касперского", понимают, что тест несовершенен, но участвуют в нем по инерции", — добавляет Иван Стогов.
Несколько другой точки зрения придерживается Виталий Янко, коммерческий директор Agnitum: "Несмотря на частично обоснованные заявления о „потере тестом и наградой VB100 веса и авторитета", в резюме последнего отчета VB100, доступного подписчикам, сообщается о значительном пересмотре методик, которые будут отработаны в ходе ближайших тестирований. Там же даны обещания „усложнить жизнь" многим решениям, которые ранее претендовали на награду или получали ее". В своем комментарии CNews Виталий Янко, подчеркнул, что отсутствие в VB100 Dr.Web и Trend Micro продиктованы "разными причинами — для одной компании это скорее причины технического характера, а для другой — политического".
Напомним, что компания Trend Micro объявила о своем выходе из тестов VB100 еще в начале июня, критикуя организаторов за недостаточно корректный с точки зрении состояния современных вирусных угроз метод оценки качества антивирусов.
Интересно, что скептически к VB относится и успешно прошедшая тест "Лаборатория Касперского". "Несмотря на то, что мы участвовали в августовском тесте и получили награду VB100%, наше отношение к данному тесту остается неизменным. Мы считаем, что методология теста страдает множеством изъянов, на которые мы не раз указывали. Мы продолжаем участвовать в тестах VB, поскольку, к сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Тем не менее, мы рассматриваем возможность выхода из тестов VB, в том случае, если методология тестирования не претерпит изменений", — заявил CNews руководитель отдела стратегического маркетинга "Лаборатории Касперского" в регионе EEMEA Олег Гудилин.
www.cnews.ru