Решение позволяет увеличить защиту от парсинга, блокируя запросы от программных средств, осуществляющих парсинг сайтов.
Модуль проверяет роботов с помощью обратного DNS-запроса, если обратный ответ пришел не от поисковой системы, то данный юзер будет заблокирован с ошибкой 403.
Поддерживаемые роботы:
- Googlebot
- Yandex
- Mail
- Bing
Справка о проверке принадлежности роботов Google: https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot