Incapsula выложило свежее исследование легитимности трафика сайтов на своей выборке в 10 тысяч сайтов, подключенных к сервису. Более половины (хотя и меньше, чем год назад) посещений сайтов выполняется роботами. При этом примерно половина роботов (всего 29% от посещений сайта) нацелены на причинение вреда.

Кто такие роботы?

Если в двух словах, то роботы это не люди. Имеется в виду, не живые пользователи, которые интересуются вашим сайтом. Это могут быть поисковые роботы, запросы RSS-ленты или товарной выдачи, мониторинг сайта, а также ряд вредоносных запросов, включая проверку сайта на уязвимости, исследование архитектуры сайта и сбор данных (ассортимента и цен).

В общем, порядка четверти запросов (22% по данным Incapsula) принадлежат наиболее «вредным» роботам, которые направлены на получение конфиденциальных данных с сайта или могут быть даже источником DDoS-атаки.

Насколько опасны роботы?

В общем, даже «вредные» роботы не способны причинить значительный вред сайту при предпринятых действиях по защите: использование последней версии системы управления сайта, сохранность паролей, регулярный мониторинг сайта. Но даже в этом случае надо быть начеку: значительная часть взломов сайтов сегодня выполняется автоматически либо полуавтоматически и не требует от атакующих дополнительных действий.

Наиболее «вредные» роботы могут быть причиной утечки данных сайта — например, товарного ассортимента, изображений товаров и цен — но блокировать такой тип роботов крайне сложно. Ведь ничего не мешает эмулировать обычное поведение посетителя сайта, который просматривает каталог интернет-магазина или изучает сайт компании.

Как с этим бороться?

Существует несколько механизмов борьбы с роботами. Во-первых, возможно отдавать страницы сайта из кэша для роботов. Это снизит нагрузку на хостинг сайта и позволит лучше сфокусироваться на обслуживании обычных посетителей. Кэширование позволит снизить нагрузку, минимум, вдвое (обычно в 3-4 раза).

Во-вторых, возможно заблокировать некоторые известные сигнатуры роботов и запросов, которые никакой пользы сайту не приносят. К сожалению, это может блокировать и нужные запросы (например, скачивание товарного прайса поставщиками), поэтому должно использоваться с осторожностью.

В третьих, при явных нарушениях поведения посетителей (например, 20 запросов в минуту с POST-данными к сайту) возможно блокировать таких посетителей в мягком или жестком режиме. Это позволит как защититься от DDoS-атаки, так и защитить конфиденциальные данные сайта (избежав перебора паролей, например). Этот метод тоже нужно использовать с осторожностью, ориентируясь на логику работы сайта — можно по неосторожности заблокировать и реальных посетителей, если они попадут под вредоносный шаблон поведения.

В четвертых, что сложнее, можно выявлять «подозрительное» поведение пользователей (отклоняющееся от нормального), и добавлять таких пользователей в «серый» список, блокируя при достижении некоторого уровня «подозрительных» действий. Это уже гораздо сложнее настраивается для конкретного сайта и влечет еще больший уровень ошибок.

Как Айри помогает в защите сайта?

Облако Айри создавалось как универсальное решение для небольших и средних сайтов в борьбе, в том числе, с вредоносными запросами и хакерскими атаками с минимальными потерями обычных посетителей. Уровень защиты Айри позволяет отсечь только гарантировано вредоносные запросы и DDoS-атаки. Все запросы, которые могут исходить от реальных посетителей, Айри не блокирует.

Задача Айри — обеспечить 100% доступность сайта для всех посетителей в любых условиях, даже если хостинг сайта отказал, перегружен запросами или на сайт идет DDoS-атака. Используя кэширование и фильтрацию запросов, Айри позволяет успешно достичь этой задачи.