+ 首页 > 谷歌学院 > 谷歌推广技巧 > Google推广知识:robots.txt的精确使用方法

Google推广知识:robots.txt的精确使用方法

文章来源:http://google.trueland.net发布日期:2014-01-19浏览:

  网站google推广,无论是哪个行业,医药也好,影楼也好,婚纱网站也好,外贸网站也罢,都不能闭门造车,否则站长就要为自己的固步自封而付出代价。今天想写一篇文章***解析robots.txt的使用方法,相信站长们会有兴趣听。

robots

  这里用的是“***”而非“正确”,请站长们注意这一点。

  ***、robots.txt可帮助减少重复收录

  robots.txt的作用是通过禁止蜘蛛爬行某些页面达到目的。网站中有些内容是重复的,如果蜘蛛都收录了,就会影响网站的权重,导致权重分散。robots.txt正好可以避免这一点。这招常用语商城站、资讯站、问答站等大型网。

  第二、robots.txt诱导蜘蛛爬行重点页面

  我们知道,搜索引擎蜘蛛爬行网站的频率是一定的,当站长用robots.txt屏蔽了一些不重要的页面后,蜘蛛就会被诱导爬行到重要的页面,从而提高它对重点页面的爬行频率,这些页面被收录的机会也能增加。robots.txt中中Allow命令可以让蜘蛛优先抓取网站地图、聚合页标签伪装的列表页等等。

  第三、调整网站权重分配

  刚刚说过,如果不使用robots.txt屏蔽掉某些内容,网站页面的权重就会分散,如果robots.txt配合nofollow,就可以将权重导入重点的栏目页,让权重得到重新分配。

  第四、robots.txt降低蜘蛛的抓取压力

  虽然说百度每天都派出很多的蜘蛛出来工作,但如果网站优化成蜘蛛喜欢的样子,比如说不让蜘蛛爬行某些无用网站,这里说的是对用户无用,降低蜘蛛的爬行压力,那么蜘蛛对于网站的好感也会上升。这就是robots.txt的威力。

  无论怎么讲,robots.txt的使用讲究的都是技巧,如果站长随便使用或者是压根不重视robots.txt文件,那么想要超越竞争对手得到排名,恐怕有点难。