对付这种垃圾的蜘蛛，最好的方法就是按照访问规则，查看对应的UA，按照UA规则，进行禁止访问，那么我们应该怎么做呢？下面给大家做个演示。
一：找到垃圾蜘蛛的UA特征
我使用的是宝塔面板。通过宝塔面板上的网站监控报表，可以看到对应网站的nginx日志。如果你使用的不是宝塔面板，你可以将网站的日志下载下来。用notepad++或者其他代码编辑软件打开。
宝塔服务器面板，一键全能部署及管理，送你3188元礼包，点我领取
上图这个UA是semrush的爬虫UA，对SEO没有作用，针对这个UA可以做屏蔽。提取这个UA的特征semrush
上图这个UA带上了所有热门浏览器的特征，明显是恶意UA，提取这个UA的特征HUAWEIEML-AL00
二：针对特定UA进行屏蔽
屏蔽UA功能，是写在对应网站的nginx的配置文件中的。
如果你使用的是宝塔面板。配置路径如下：
红框中的代码，即为屏蔽的代码。下面将我使用的代码贴出。大家可以复制使用。
放到server后面的大括号后面即可！
#禁止指定UA及UA为空的访问
if（$http_user_agent~"semrush|opensiteexplorer|OPPOA33Build|HUAWEIFRD-AL00|Dorado|^$"）
{
return403;
}
刚才提到的semrush、HUAWEIFRD-AL00均进行了屏蔽。我同时对一些其他UA进行了屏蔽，大家可以按需填写使用！通过这种方式，可以很好的进行屏蔽一些指定规则的垃圾IP蜘蛛抓取，平常的时候，要经常看一下，蜘蛛日志，如果发现垃圾抓取就马上进行屏蔽，这样一来就可以保证我们的服务器的安全了，好了，今天就讲解到这里。
辽公网安备:42900402000182号