中国IDC圈6月11日报道：robots的写作在网站中起着非常重要的作用，她代表着能否被所有的搜索引擎抓取，在百度上有一个好的排名。下面我们一起来看一下关于robots的一些知识。
1. 什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
2.常见蜘蛛形态
User-Agent:定义搜索引擎的类型 · Disallow: 定义禁止搜索引擎收录的地址 · Allow: 定义允许搜索引擎收录的地址
案例：允许所有的蜘蛛抓取所有的页面
User-agent: * Allow:/ /或者根目录下放置robots.txt空文件
百度的蜘蛛形态
Baiduspider+(+http://www.baidu.com/search/spider.htm) Mozilla/5.0+
谷歌的蜘蛛形态
compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
雅虎的蜘蛛形态
Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp)
MSN的必应
msnbot/1.1+(+http://search.msn.com/msnbot.htm)
搜狗的蜘蛛形态
Sogou+web+robot+(+http://www.sogou.com/docs/help/webmasters.htm#07)
搜搜的蜘蛛形态
Sosospider+(+http://help.soso.com/webspider.htm)
3. robots.txt文件用法举例
例1. 禁止所有搜索引擎访问网站的任何部分 User-agent: *
Disallow: / 例2. 允许所有的robot访问
(或者也可以建一个空文件 “/robots.txt”) User-agent: *
Allow: / 例3. 仅禁止Baiduspider访问您的网站 User-agent: Baiduspider
Disallow: / 例4. 仅允许Baiduspider访问您的网站 User-agent: Baiduspider
Allow: /
User-agent: *
Disallow: /
例5. 仅允许Baiduspider以及Googlebot访问 User-agent: Baiduspider
Allow: /
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
例6. 禁止spider访问特定目录
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 “Disallow: /cgi-bin/ /tmp/”。 User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ 例7. 允许访问特定目录中的部分url User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/ 例8. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。 User-agent: *
Disallow: /cgi-bin/*.htm 例9. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。 User-agent: *
Allow: /*.htm$
Disallow: / 例10. 禁止访问网站中所有的动态页面 User-agent: *
Disallow: /*?* 例11. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。 User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$ 例12. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片 User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$ 例13. 仅禁止Baiduspider抓取.jpg格式图片 User-agent: Baiduspider
Disallow: /*.jpg$
热门专题
