中国IDC圈6月28日报道：以下两点比较细节，一直被孤藤忽视，今天整理下，跟大家一起学习：关于二级目录、二级域名的robots.txt设置。

1、二级目录的robots.txt的设置“robots.txt文件必须放在网站的根目录，放在子目录的robots.txt文件搜索引擎不能爬取到，所以不会起作用。(除非你的子目录是一个绑定了域名的新网站)“

算是seo的基础知识了，不过往往容易被忽略，孤藤就是一例，在新建的二级目录”seo资讯“，孤藤就是犯了这低级错误，把二级目录的robots.txt放在了二级目录文件夹上了，导致一些日记归档、作者等本应被屏蔽的网页都被收录了。狂汗!

2、二级域名绑定在空间子目录的robots.txt设置如孤藤博客的二级域名http://fubaba.***.com，跟主域名绑定在同一空间子目录下，导致该二级域名与http://www.***.com/fubaba的内容是相同的。做seo的朋友都懂得重复内容对se有多不友好，所以，一定的想办法搞定它。

解决方法：通过在网站根目录下的robotst.txt屏蔽之。

具体操作如下：

打开该二级域名的根目录下的Robots.txt文件.按照你的实际情况来进行设置.

如上所述,二级域名是绑定的根目录下的”fubaba”文件夹.按需要进行如下设置

User-agent: *

Disallow: /fubaba/

如果你为网站启用了多个二级域名,则相应的设置多个二级目录的禁止抓取就可以了。