Мы регулярно улучшаем защиту Айри для сайта, и в этом обновлении добавили возможность проверять легитимность поисковых роботов, которые заходят на ваш сайт. И в случае отсутствия подтверждения «правильности» роботов — блокировать их.

Мы уже писали про продвинутые алгоритмы Айри для фильтрации вредоносных запросов. Новая настройка Айри для усиления такой фильтрации называется «Блокировать роботов-шпионов». При ее включении дополнительно будут заблокированы все роботы, притворяющиеся поисковыми, но на самом деле такими не являющимися. В большинстве случаев такие роботы собирают какую-либо информацию о вашем сайте (например, текст с карточек товаров или изображения) для дальнейшего использования. Или мониторят ваши цены для конкурентов.

Проверка по обратному DNS позволяет гарантировать, что только правильные поисковые роботы получат контент вашего сайта. Все остальные роботы-шпионы будут надежно заблокированы.

Настройка доступна с тарифного плана «Юпитер».