中国IDC圈12月4日报道:如果你的站点可以像淘宝那样牛叉,直接屏蔽掉百度蜘蛛的话,那恭喜你,可以不用浪费时间继续看下去。如果还没到那境界,就继续看看建站时能避免就避免的因素,以免惹恼百度下发的“蜘蛛兵”。
1、Flash建站。如果网站里放些flash做的图标、广告之类的,无疑是给你的站点添姿添彩。但是你用flash做个网站首页甚至整站的话,那就有些炫过头了。百度蜘蛛无法抓取flash文件中包含的文字内容和链接,这样的站点只能给人视觉效果,无法满足蜘蛛的“胃口”了。
2、框架结构。这是老早以前的网站设计结构,现在几乎弃用了,同样的百度蜘蛛是无法抓取包含在框架里的文字内容和链接。
3、JavaScript代码。和flash类似,js代码可以做出很多很炫的视觉效果,但是可惜的是我们可怜的百度蜘蛛也是无法识别它的面目,所以能剩就剩。
4、动态URL。判断是否为动态URL主要是看URL中是否包含问号、等号及参数,动态的URL不利于蜘蛛蜘蛛爬行,因为常常会使蜘蛛陷入死循环如万年历,或收录大量的重复页面,所以尽量将动态URL静态化。
5、页面跳转。有利于seo的跳转是301跳转,其他的诸如302、js跳转、Flash跳转、MetaRefresh跳转。这些跳转都要慎用,因为百度蜘蛛对其跳转方式比较敏感。不过此次的“住游网”之后,301跳转是否还是“最友好”的跳转方式了。
6、要求登录。这在一些社区经常看到,就是必须得登录后才能看到站点内容。如果这是要求用户的话倒无所谓了,但是如果要求蜘蛛也登录之后才允许爬行,貌似百度蜘蛛不会注册、填写登录信息。
这几个不利于seo因素也不是绝对不能使用的,比如你可以用flash点缀下网站页面;你想让一些内容不要蜘蛛爬行,你可以将它置于js代码里面;暂时性的跳转你可以使用302等等。上面主要是以百度蜘蛛为例,其实现在的搜索引擎技术能够简单的识别诸如flash、js里包含的内容,可是它们没必要花费时间去解析那些内容。所以作为建站的我们只能趋向于搜索引擎,做有利于搜索引擎抓取的站点。