一般WordPress搭建的多站点网站都会使用相同的根目录，但是为了WordPress多站点网站添加robots.txt文件方法，需要通过robots_txt钩子生成虚似e y h } e 5 ,的robots.txt文件URL（类似于伪静态）实现。
新安装/ 8 z B i E 2wordpress站点，没有禁止蜘蛛爬行，启用伪静态后，访问地址http://*****/ro% 8 P l J & S _ dbots.txt，会返回下面的结果：
User-agent: *
DisallowX ] f ^ N: /wp-admi9 X 4n/
Allow: /wp-admin/admin-ajax.php
这是WordPress默认的robots.txt内容。如果想添加更多的规则，可以在当前使用的主题中添加下面的代码：
如果想添加更多的规则，就在当前使用的主题中添加下面的I V k代码：
function robots_mod( $output, $o q I 9 1 f [ Ipublic ) {
$output .= “Disallow: /feed\n”;
$output .= “DJ 2 risallow: /trackback\n”;
return $o9 H Z – Q t `utput;
}
add_filter( ‘robots_ts ; j K ^ X E ~xt’, ‘robots_mod’, 10,0 M E 2 );
上面代码返回的结果是：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow:/feed
Disallow: /trackback[ C c x $ \ % 7
如果不想要默认的robots.txt内容，则可以这样写
function robots_mod( $output, $puy 2 z # / C – ) eblic ) {
$output = “User-agent: *\n”;
$4 m ] g L 0 Soutput[ [ 2 l 8 M T t Y .= “Disal) | D N m !low: /feed\n”;
$output .= “Disallow: /trackback\x o s Fn”;
return $output;
}
add_filter(v X g p ‘robots_txt’, ‘robots_mod’, 10, 2 );
