中国IDC圈7月10日报道：我们知道让搜索引擎收录我们的网站首先需要经过蜘蛛这一关，不利于蜘蛛爬行的网站推广相对来说也就不利于优化，这篇博文将为大家讲述哪些做法是不利于蜘蛛爬行的，我们又该如何避免这些蜘蛛陷阱。

1.跳转

除301转向以外，搜索引擎对其他形式的跳转都比较敏感，如302跳转、JavaScript跳转、Flash跳转、Meta Refresh跳转。有些网络营销用户访问首页时会被自动转向到某个目录下的页面。大部分这种首页转向看不出任何理由和目的，这样的转向搜索引擎极度反感。

如果必须转向，301跳转是搜索引擎推荐的、用于网址更改的跳转（其实这个跳转方便了搜索引擎索引计算避免大量不必要的索引），可以把页面权重从旧网址转移到新网址。其他跳转均被视为搜索引擎作弊，将遭到惩罚。

2.Flash

在网页中使用少量Flash增强视觉效果提高用户体验是很正常的，比如用Flash做成的广告、图标等等。当然这些小的Flash和图片只是HTML代码中很小的一部分，页面上还有其他以文字为主的内容，所以对搜索引擎抓取和网站推广收录没影响。但是，如果首页全部以Flash表现，比如一个片头动画占满整个页面，没有任何文字内容，只有一个点击进入主页的按钮，其余没有任何进入栏目页的入口，像这样的网站推广搜索引擎是无法读取Flash文件中的文字内容和链接的。并且蜘蛛无法通过Flash进入网络营销内页HTML版本的文字页面，自然搜索引擎就不能索引任何文字信息，不利于蜘蛛爬行。

如果，Flash效果是必须的，那么你需要在Flash以外的部分添加一个进入首页的链接，必须要放在Flash文件以外的HTML代码中，可以适当的放在最下面，这样一来搜索引擎追踪这个链接可以抓取后面的HTML版本页面。

3.动态URL

动态URL指的是数据库驱动的网站所生成的、带有问好、等号、及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行，因为目前搜索引擎技术还是达不到的，也就是很难识别此类URL。据谷歌工程师透露，目前谷歌针对此类URL还是能够识别的，其他网站推广搜索引擎目前技术还没有达到。

4.SESSION ID

有些网站使用SESSION ID（会话ID）跟踪用户访问，就是说每个用户访问该网站时就会产生一个SESSION ID，这个ID将加在URL中。也就是说当搜索引擎蜘蛛每一次访问也会被当成一个新的用户，那么URL中会加一个不同的SESSION ID,如此一来搜索引擎蜘蛛每次访问同一个页面但是返回的确是不同的URL，那么就会把网络营销搜索引擎搞糊涂。当搜索引擎遇到这种情况的时候就会常识判断字符串是SESSION ID还是正常参数，如果判断出是SESSION ID就会去掉它，收录正常的URL，但也有时候判断不出来，这样的话就会收录大量重复页面不同URL，不利于网站推广优化。

建议跟踪用户访问应该使用cookies而不生成SESSION ID。或者程序判断访问者是搜索引擎蜘蛛还是普通用户，如果是搜索引擎蜘蛛，则不生成SESSION ID。跟踪搜索引擎访问是没什么意义的，蜘蛛既不会填表，也不会把商品放入购物车。

5.强制使用Cookies

有些网站推广为了实现某种功能，如记住用户登录信息、跟踪用户访问路径等，强制用户使用Cookies，用户浏览器如果没有启用Cookies，页面显示不正常。搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器，强制使用Cookies只能造成搜索引擎蜘蛛无法正常访问。

6.JavaScript链接

由于JavaScript可以创造出很多吸引人的视觉效果，有些网络营销喜欢使用JavaScript脚本生成导航系统。这是非常不利于蜘蛛爬行的一个做法。虽然搜索引擎都在尝试解析JS脚本，当然我们不能等待它能够完全解读JS脚本，因此，我们需要尽量避免。很多站长都说自己的栏目页没有收录，很大一个因素就是由于导航使用JS脚本导致搜索引擎无法解析。

据本人观察，虽然有的网络营销搜索引擎在技术上可以获得JavaScript脚本中包含的链接，甚至可以执行脚本并跟踪链接，但对一些权重比较低的网站，搜索引擎觉得没有必要，不会费那个劲。所以网站推广上的链接必须使用最简单标准的HTML链接，尤其是导航系统。用CSS做导航系统一样可以实现很多视觉效果。

其实JavaScript还有其他用途，如果站长不希望搜索引擎收录此页面，可以使用JavaScript脚本阻挡搜索引擎爬行。

总结：有些网站内容放在需要用户登录之后才能看到的会员区域，这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码，也不会注册。