百度站长:robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?

SEO知识 战车网 来源:董亮的网站 170浏览

摘要:刚接手不久一个B2B电子商务平台、由于产品详情页有两种不同形式的URL:有32位、也有16位,所以需要对URL进行统一规范;

那么是采用32位的:http://www.csc86.com/product/5475beae-8324-4d52-911d-d53b78926e1a.html标准(长地址);

还是采用16位:http://www.csc86.com/product/79377.html(短地址)标准、当时考虑原则是两种不同形式的URL百度索引数据及两种不同形式的URL收录速度、也就是说哪URL百度索引数据多且URL收录速度快那就采用哪种URL标准;

所以在百度站长工具自定义规则,分别查看两种特征页面集合的索引量数据

16位(短地址)的URL百度索引量数据

32位(长地址)的URL百度索引量数据

说明:

1、32位(长地址)的URL数据存量是16位(短地址)数据存量大概4倍

2、05-18当天16位(短地址)的URL索引量数据增加83574,而32位(长地址)URL索引量数据则增加2090

3、针对URL索引量增加没有做任何人工干预

也就是说16位(短地址)URL百度索引数据多于32位URL且短URL收录速度快,所以决定采用16位(短地址)做为产品详情URL规范;

问题:05-19号针对robots文件屏蔽32位URL搜索引擎相关抓取规则

robots文件如下:

但06-07号32位URL索引量还是出现大幅增长情况

当然看到这个数据第一反应就是robots规则不对,所以对robots进行检查、但发现robots没有问题、屏蔽规则也检测正常;

在06-09号对此问题进行反馈、得到反馈的结果是百度这边处理时间较长的, 所以百度处理此类问题的反应超级慢,所以建议在处理此类问题时最好使用百度站长具检测robots 并进行强制更新。

未经裕腾智工作室授权许可任何人不得复制、转载、或以其他任何方式使用裕腾智工作室的内容。裕腾智工作室保留追责权利。文章出处:裕腾智工作室  http://www.ying88.net/biji_share/57.html

转载请注明:战车网 » 百度站长:robots文件屏蔽搜索引擎抓取规则、为何还是会被收录?

猜你喜欢

重庆seo:彭宇诚:网站收录变化原因及解决方法

最近彭宇诚诊断了近30个网站,几乎有一半的朋友在问网站收录方面的问题,比如:为什么网页收录很少,为什么网站收录降低了等一系列问题。今天彭宇诚就与大家分享一下网站收录变化的原因及解决办法。 一提到网站收录,都会联系到很多关键词:内容质量、网页权重、外部...

网站策划方案:分享如何通过robots文件让蜘蛛更加勤奋的爬行站点

Robot文件对于各位站长相比都并不陌生,我们一般使用这个文件来阻扰搜索引擎的蜘蛛爬行一些我们并不想让它抓取的页面。但是其实使用这个文件同时也可以让搜索引擎的蜘蛛对于我们站点的爬行更加的勤奋。具体如何操作,在下文中笔者将做一个简要的介绍。 一:了解r...

seo 报价:百度优化与谷歌优化的区别

如今国内百度与谷歌越来越占据搜索引擎的份额,尤其是百度,一个适合国人搜索习惯的搜索引擎。既然这么重要,SEOer们最关心的就是它们的区别了,下面挑几个重点的方面来谈谈它们的区别: 1、 收录问题:百度对新站往往比较久才收录,有些慢的可能要好几个月才...