robots.txt这个东西可有可无，如果不想某个目录或者链接被收录，可以用。
闪电博的SEO工具插件推荐默认规则，你参考下。
插件官网下载地址：https://www.wbolt.com/plugins/sst
User-agent: * Disallow: /wp-admin/ Disallow: /wp-include/ Disallow: /wp-login.php?redirect_to=* Disallow: /go?_=* sitemap: https://你的网址/wp-sitemap.xml
上面的规则是，禁止所有蜘蛛爬取/wp-admin//wp-include//wp-login.php?redirect_to=*/go?_=*目录和链接，网站地图xml的地址是https://你的网址/wp-sitemap.xml
规则中的/go?_=*是闪电博的SEO工具插件里的外链转内链的功能，如果你不开这个功能，可以删除此行的规则。