使用Robots解决ecshop重复收录之案例分析

使用过ECSHOP的朋友都会知道ECSHOP有严重的重复收录过多的问题,很多朋友的网站实际产品加文章数量仅仅1000来个,查询链接居然有3,4千,google甚至会有上万。重复链接因为Title一样,所以常常会被搜索引擎惩罚导致收录差,对于这个问题,SEOer们是必须要解决的,以下发表我个人的解决经验,欢迎点评。

分析会有哪些重复链接产生

1.就我使用的情况,首先是产品页和文章页会有很多的页面以 ?from=rss 结束

如 http://www.xxxx.com/goods-1.html?from=rss

这个的解决方法有二,一是通过删除rss信息订阅功能,二是Robots设置

我个人选择的是第二种

所以我在Robots里加了一条禁止搜索引擎索引的语句:

Disallow: /*rss*

这句的意思是只要根目录下的链接带 "rss"就不索引,除非你的网站会有带页面地址里正好出现rss这连续三个子母,这个语句都可以解决这个问题。

2.分类页里的动态链接

分类页里充斥了大量的动态链接

包括属性筛选的链接

排序的链接

显示方式的链接

接下来我们逐一击破

首先是属性筛选的链接

如http://www.xxxx.com/category-1-min80-max90-attr0.html

这个是筛选里面的价格的筛选

包括其他属性的链接,我们发现规律就是都会出现 "min" "max" "attr"三个词,分别是最小,最大,属性值

和上面的,我们在Robots加了一跳禁止抓取包括这三个词的语句:

Disallow: /*min*
Disallow: /*max*
Disallow: /*attr*

然后,排序的链接和显示方式的链接我们点击后同样会出现类似一长串,其中仍然包括 "min" "max" "attr"三个词

因而上面Robots的设置已经可以解决

这样就完了吗?没有,虽然我们设置了Robots的抓取,但为了让蜘蛛爬行更方面直接,我们需要做另外一个工作,就是限制爬行

找到模板文件里对应的属性筛选和产品列表的模板文件(我自己的是cat_filter.lbi和goods_list.lbi)

找到属性筛选、排序、显示方式的链接代码,在其里增加一句 rel="nofollow",意思就是限制爬行

robots的作用在于禁止抓取,而nofollow则在于禁止爬行,双管齐下很好的引导了蜘蛛和搜索引擎

3.其它的一些重复动态链接

我个人发现的其它重复链接还包括品牌商品里的显示方式

如http://www.xxxx.com/brand-1-c0.html?display=text等

我在Robots同样加了三句

Disallow: /*min*
Disallow: /*max*
Disallow: /*attr*

就解决了不同显示方式还有不同链接的重复收录问题

以上个人所提到的并未包含所有的动态链接,但给大家做了一个不错的参考,因为万变不离其宗,朋友们可以依据我提到的方法和思路慢慢的把自己的Robots写完整,同时适当的使用nofollow在模板里限制蜘蛛的爬行

注意的是对于已经收录了大量的重复链接,您进行以上提到的修改,搜索引擎并不能快速做出反应,对待新的页面会限制收录重复页面,但对于已经收录的重复链接,搜索引擎需要花了一段时间取消收录而重新收录主页面,个人的经验是至少需要2个月。