robots.txt这个东西可有可无,如果不想某个目录或者链接被收录,可以用。
闪电博的SEO工具插件推荐默认规则,你参考下。
插件官网下载地址:https://www.wbolt.com/plugins/sst
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-include/
Disallow: /wp-login.php?redirect_to=*
Disallow: /go?_=*
sitemap: https://你的网址/wp-sitemap.xml
上面的规则是,禁止所有蜘蛛爬取/wp-admin/
/wp-include/
/wp-login.php?redirect_to=*
/go?_=*
目录和链接,网站地图xml的地址是https://你的网址/wp-sitemap.xml
规则中的/go?_=*
是闪电博的SEO工具插件里的外链转内链的功能,如果你不开这个功能,可以删除此行的规则。