Контакты
Подписка
МЕНЮ
Контакты
Подписка

Тесты антивирусов. Часть 1

Тесты антивирусов. Часть 1

В рубрику "Спецпроект: mobile security" | К списку рубрик  |  К списку авторов  |  К списку публикаций

Тесты антивирусовЧасть 1

Сегодня на рынке антивирусного ПО существует огромный выбор: большое количество производителей, каждый из которых предлагает целую линейку продуктов. Но для оптимального решения недостаточно изучить функционал, заявленный производителем, и пользовательские отзывы – необходимо обратиться к независимым экспертизам и сравнениям. Существует множество компаний, специализирующихся на тестировании антивирусов и других защитных средств (межсетевых экранов, DLP и DPS/IPS-систем и т.д.). Но как они оценивают тестируемые продукты? Какую лабораторию выбрать? Кому доверять? Попробуем в этом разобраться.
Дмитрий
Беликов
Студент 6 курса МИЭМ НИУ ВШЭ
Александр
Сорокин
Старший преподаватель кафедры компьютерной безопасности МИЭМ НИУ ВШЭ
Ксения
Чурсина
Студентка 6 курса МИЭМ НИУ ВШЭ

Для начала необходимо выяснить, как вообще можно оценить качество антивируса. Конечно, каждая тестовая лаборатория имеет свою систему оценок и свою методику. Но в среднем все они придерживаются устоявшейся системы тестов, о которой будет рассказано ниже.

Процент обнаруженных угроз

Статическое тестирование (вирусов, фишинг-атак и т.п.)
При статическом тестировании (другие названия: классический тест, тест на детектирование, static scan, file detection test) исследуемые средства применяются для сканирования каталога (директории), в котором находятся как безвредные файлы, так и зараженные (количество файлов обычно исчисляется сотнями или даже тысячами). Идеальный антивирус должен обнаружить 100% зараженных файлов, не допустив ни одного ложного срабатывания.

Данный тест показывает, насколько хорошо антивирус справляется со сканированием компьютера (его файловой системы). Необходимо учитывать, что такое сканирование запускается принудительно и не защищает от онлайн-угроз (загружаемые из Интернета файлы, скрипты на Web-страницах, некорректная работа программ уже после их запуска и т.д.). Статическое тестирование является исторически первой методикой анализа уровня защиты антивирусных средств, вследствие чего наиболее распространено.


Динамическое тестирование
При динамическом тестировании (другие названия: жизненный тест, dynamic test) на защищенном антивирусом компьютере открывают вредоносные/зараженные Web-сайты и почтовые вложения, проводя учет того, какая доля угроз была обнаружена и заблокирована до вторжения в систему. Преимущество данного типа тестирования в том, что им проверяются все защитные технологии продукта (которых сейчас достаточно много), а также применяются наиболее актуальные угрозы.

Процент ложных срабатываний

Все защитные технологии современных антивирусов (сигнатурный анализ, генетический анализ, поведенческий анализ и др.) подвержены как ошибкам первого рода (необнаруженные угрозы), так и ошибкам второго рода, то есть ложным срабатываниям (другие названия: ошибка второго рода, false positive, false alarm). Количество ложных срабатываний является критической характеристикой для многих пользователей и должно учитываться при оценке качества антивируса. Тестирование на процент ложных срабатываний редко проводится отдельно, обычно это "побочный результат" статического и динамического тестирований.

Тест эвристических технологий и поведенческого анализа

Чаще всего проводится ретроспективный тест (retrospective test), когда для тестирования намеренно используются старые антивирусные базы (блокируются их обновления) и современные экземпляры вирусов (троянов, шпионских программ и т.д.). Само тестирование может быть как статическим, так и динамическим.


Разобравшись с сутью тестов, которые можно ожидать от независимых экспертов и лабораторий, можно определить, высокие позиции в каких тестах должен занимать желаемый антивирусный продукт, а в каких из тестов его позиции для пользователя не имеют большого значения. Разумеется, выбор наиболее важных тестов будет зависеть от того, в каких условиях существует система, на которой предполагается развернуть антивирусный продукт, а также от того, какие задачи должны им решаться.

Также для тестирования поведенческого анализа (другие названия: heuristic/behaviour test) могут использоваться специально написанные образцы. Такой метод не имеет своего устоявшегося названия и встречается очень редко, обычно в небольших обзорах, которые делают продвинутые пользователи.

Процент удаленных вредоносных файлов

Так как не все антивирусы при обнаружении вредоносного файла оказываются в состоянии удалить его и его следы, часто проводится отдельное тестирование на процент удаленных файлов (процент считается среди детектированных угроз).

Процент вылеченных файлов

В настоящее время многие антивирусы заявляют у себя функцию "лечения", которая привлекает пользователей, для которых важна возможность сохранения всех своих данных даже в случае заражения компьютера. Производители антивирусного ПО, как правило, стараются избежать лишней ответственности, заявляя, что "лечение возможно не всегда". Поэтому очень важно узнать, работает ли заявленный функционал вообще в каких-либо случаях и насколько хорошо он реализован (по сравнению с другими представителями на рынке). Процент вычисляется среди зараженных файлов.

Тесты на ресурсоемкость

Тесты на ресурсоемкость (другие названия: performance test) часто переводят на русский как "тест производительности", что не совсем корректно передает смысл; есть отдельные тесты на загрузку процессора, памяти, замедление работы системы в различных режимах и т.п. Свойство антивируса замедлять систему зачастую выступает раздражающим фактором и недостатком для большого числа пользователей. Если продукты показывают схожие результаты по защите, то стоит обратить внимание на тесты производительности. Зачастую эти факторы обратно пропорциональны, и приходится выбирать оптимальное соотношение в зависимости от того, для чего используется компьютер: часто ли посещаются "опасные" ресурсы, какое количество пользователей за ним работает, часто ли подключаются внешние накопители (флешки, жесткие диски и т.д.) и их количество и т.д.

Тестирование в экстремальных условиях

Данный тест стал набирать популярность в последнее время, но пока встречается достаточно редко и не имеет устоявшихся названий. Обычно под такой формулировкой подразумевают один из следующих тестов (или их комбинацию):

  • установка антивируса на зараженную систему – антивирусное средство ставится на успешно зараженную систему. Оценивается возможность такой установки, возможность лечения системы (автономно, при помощи диска восстановления и т.д.), качество очистки системы (удален ли сам вирус и его следы – во временных файлах, реестре и т.д.);
  • тестирование механизмов самозащиты – многие вирусы пытаются атаковать антивирусное ПО, и не всякий антивирус выдерживает такие атаки.

Удобство использования

Удобство использования (другие названия: исследование интерфейса, usability) – один из самых спорных и субъективных тестов. Обычно включает в себя:

  • оценку интерфейса с дизайнерской точки зрения: не устают ли глаза, комфортно и приятно ли работать с программой;
  • оценку с точки зрения интуитивной понятности интерфейса: сможет ли обычный пользователь сразу начать работу с программой, насколько логично расположены модули, понятны ли их названия и т.д.;
  • наличие/отсутствие рекламы (при ее наличии оценивают навязчивость): многие производители снабжают бесплатные версии своих продуктов рекламными блоками, которые призывают перейти на платную версию. Данные блоки могут быть достаточно неприметными элементами в углу окна основной программы, а могут представлять собой навязчивые всплывающие окна.

Тестирование скорости реакции

Тестирование скорости реакции – сколько времени проходит от обнаружения нового вируса до занесения его в базы сигнатур и выпуска соответствующего обновления. Сейчас становится все менее актуальным, но очень важен для антивирусов с несовершенным эвристическим анализом.

Специализированные тесты

Сейчас многие производители предлагают решения мобильной безопасности, решения для Mac-компьютеров, поэтому у многих тестовых лабораторий можно встретить сравнения антивирусных решений для Mac, iOS, Android. l

Опубликовано: Журнал "Information Security/ Информационная безопасность" #4, 2014
Посещений: 8942

Приобрести этот номер или подписаться
  Автор

Дмитрий Беликов

Дмитрий Беликов

Студент 6 курса МИЭМ НИУ ВШЭ

Всего статей:  2

  Автор

Александр Сорокин

Александр Сорокин

Старший преподаватель кафедры
компьютерной безопасности МИЭМ,
НИУ Высшая школа экономики

Всего статей:  3

  Автор

Ксения Чурсина

Ксения Чурсина

Студентка 6 курса МИЭМ НИУ ВШЭ

Всего статей:  2

В рубрику "Спецпроект: mobile security" | К списку рубрик  |  К списку авторов  |  К списку публикаций