Логотип
13 ноября 2018 в 09:11 Интернет 297 1

Как защитить сайт от роботов?

Недавно случилась довольно интересная ситуация - на мой сайт начался наплыв каких-то ботов. Это не Ddos атака и технически сайту от этого хуже не становится, но сам факт того, что всякая дичь шарится по сайту довольно неприятный. Что они ищут здесь в таком количестве - непонятно.

Откуда идут боты?

Боты идут в основном из США и Канады, собственно, так я их и вычислил. Всего за сутки они делают порядка 2-3 тысяч запросов. Все запросы с разных IP, разных браузеров и разных ОС. Вебвизор не показывает из посещения. Часть этой заразы, конечно же, Яндекс.Метрика фиксирует, а часть нет. Выглядит это вот так.

Скриншот с метрики

Как бороться?

В интернете есть сервисы, которые могут попробовать решить проблему и сейчас, я расскажу про некоторые из них. 

1. Virusdie.

Эти ребята обещают нам защиту от ботов и вредоносных пауков. Может каких-то они и ловят, но точно не в этом случае. Вирусдай тут не справился и вообще никак не реагировал на нашествие.

2. Cloudflare

Очень мощный инструмент, но дороговатый для обычных смертных. Бесплатный тариф есть, но на на нем невозможна тонкая настройка для конкретного сайта, а значит в некоторых случаях возможна некорректная загрузка сайта. У меня, к примеру, после подключения начал лагать форум из-за того, что Cloudflare блокировал загрузку некоторых скриптов. Вообще этот сервис лучше всего использовать на тарифе Business.

3. Botguard

Этот сервис мне порекомендовали ребята на Серче и он на 100% себя оправдал. Сервис совсем молодой и функционал реализован еще не полностью, но защита уже работает. Можно даже сказать, что это файрвол. Все тупые боты умирают еще до того, как доберутся до сайта.

Скриншот с панели управления Botguard

Скорость загрузки уменьшилась незначительно, в среднем на 10-15 мс, впрочем, как у них и заявлено. Botguard поддерживает несколько вариантов интеграции:

  • Расширения веб-сервера.
  • Дополнение к панели управления.
  • Дополнения к CMS.
  • Подключение к API.
  • Виртуальное устройство.

Обо всем вы можете почитать подробнее на их сайте. Самое главное - нет никакой абонентской платы. Вот, что у них написано по этому поводу:

Платите только за то, что используете. У нас нет ежемесячной абонентской платы. Оплата рассчитывается, исходя из количества обработанных запросов. Стоимость обработки 1 000 запросов составляет всего 1 цент.

Таким образом, защита сайта с посещаемостью около 5 000 посетителей в сутки составит менее $3 в месяц. Более того, 100 000 запросов каждый месяц предоставляется бесплатно, поэтому для сайтов с небольшой посещаемостью сервис оказывается бесплатно.


Это может быть интересно

Комментарии
  1. Администратор13 ноября 2018 09:42
    Забыл написать, что добрые админы из саппорта помогут подключить сайт, если вы сами не знаете как это сделать.
    0
Высказать мнение
Подтвердите, что вы не робот