在你Nginx配置文件中加入，加的位置最好是你的端口监听及crt文件配置区块的后面：
if ($http_user_agent !~* (baiduspider|360spider|googlebot|soso|bing|sogou|yahoo|yisouspider|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
return 401;
}
用户访问的效果图：
至于蜘蛛能不能正常访问你可以去百度站长工具那做一下抓取测试。我在postman里面测试是没问题的。