WordPress自带的robots.txt规则就已经是最佳通用规则了,我们要相信开发WordPress的大佬都是顶尖高手,除非出于兼容性的考量,否则WordPress内置的默认规则大多数情况下都是最优解。
如果你有自己的特殊需求,可以用以下代码定制:
add_filter( 'robots_txt', function ( $rules ) {
$rules .= '自定义规则一' . PHP_EOL;
$rules .= '自定义规则二' . PHP_EOL;
$rules .= '自定义规则三' . PHP_EOL;
return $rules;
} );
如果你不知道自己究竟想干嘛,那就不要动了,直接使用WordPress默认的就好。