Как защитить сайт от роботов?

Недавно случилась довольно интересная ситуация – на мой сайт начался наплыв каких-то ботов. Это не Ddos атака и технически сайту от этого хуже не становится, но сам факт того, что всякая дичь шарится по сайту довольно неприятный. Что они ищут здесь в таком количестве – непонятно.

Откуда идут боты?

Боты идут в основном из США и Канады, собственно, так я их и вычислил. Всего за сутки они делают порядка 2-3 тысяч запросов. Все запросы с разных IP, разных браузеров и разных ОС. Вебвизор не показывает из посещения. Часть этой заразы, конечно же, Яндекс.Метрика фиксирует, а часть нет. Выглядит это вот так.

Как бороться?

В интернете есть сервисы, которые могут попробовать решить проблему и сейчас, я расскажу про некоторые из них.

1. Virusdie.

Эти ребята обещают нам защиту от ботов и вредоносных пауков. Может каких-то они и ловят, но точно не в этом случае. Вирусдай тут не справился и вообще никак не реагировал на нашествие.

2. Cloudflare

Очень мощный инструмент, но дороговатый для обычных смертных. Бесплатный тариф есть, но на на нем невозможна тонкая настройка для конкретного сайта, а значит в некоторых случаях возможна некорректная загрузка сайта. У меня, к примеру, после подключения начал лагать форум из-за того, что Cloudflare блокировал загрузку некоторых скриптов. Вообще этот сервис лучше всего использовать на тарифе Business.

3. Botguard

Этот сервис мне порекомендовали ребята на Серче и он на 100% себя оправдал. Сервис совсем молодой и функционал реализован еще не полностью, но защита уже работает. Можно даже сказать, что это файрвол. Все тупые боты умирают еще до того, как доберутся до сайта.

Скорость загрузки уменьшилась незначительно, в среднем на 10-15 мс, впрочем, как у них и заявлено. Botguard поддерживает несколько вариантов интеграции:

Расширения веб-сервера.
Дополнение к панели управления.
Дополнения к CMS.
Подключение к API.
Виртуальное устройство.

Обо всем вы можете почитать подробнее на их сайте. Самое главное – нет никакой абонентской платы. Вот, что у них написано по этому поводу:

Платите только за то, что используете. У нас нет ежемесячной абонентской платы. Оплата рассчитывается, исходя из количества обработанных запросов. Стоимость обработки 1 000 запросов составляет всего 1 цент.

Таким образом, защита сайта с посещаемостью около 5 000 посетителей в сутки составит менее $3 в месяц. Более того, 100 000 запросов каждый месяц предоставляется бесплатно, поэтому для сайтов с небольшой посещаемостью сервис оказывается бесплатно.