+ 首页 > 谷歌学院 > 谷歌知识问答 > Google推广问答:Robots.txt正确使用有何好处和优势

Google推广问答:Robots.txt正确使用有何好处和优势

文章来源:http://google.trueland.net发布日期:2014-01-24浏览:

  为什么要写robots.txt呢?其实robots.txt主要目的是告诉搜索引擎哪些可以抓取,哪些不可以抓取。这对提升搜索引擎友好度非常关键,那么到底robots.txt有着哪些好处和优势呢?

robots.txt

  Google推广专家为大家讲解一些正确robots.txt的好处和优势,希望对大家有所帮助。

  一、节省服务器带宽

  如果一台服务器上访问量过大,内容过多就会占用很大的宽带,,比如imge等等,这对搜索引擎来说没有什么实际意义,这样就会做一个robots.txt,以屏蔽搜索引擎的抓取,这样就在一定程度上减少了网站服务器访问量过大的情况,节省了服务器的宽带。

  二、保护网站安全目录

  为什么网站会设置robots.txt,一般来说,robots.txt的作用就是禁止搜索引擎抓取一些没有意义的页面或者目录,比如打不开的页面或删除页面,这些页面都要禁止搜索引擎抓取,从而保证那些安全页面的正常索引,一般来说,如果一个改版网站,基本上都忽悠这样的页面,所以必须要禁止,否则会影响到安全页面的正常抓取。

  三、禁止搜索引擎索引页面

  Robots.txt的主要目的就是禁止搜索引擎抓取某些页面,而且这也是保证搜索引擎不要抓取那些打不开页面或者死页面***的方法。

  四、Robots.txt链接网站地图

  众所周知,搜搜引起蜘蛛访问网站首先看的不是首页,而是robots.txt文件,这个时候大家就可以将网站地图放置进去,这样就会更有利于搜索引擎蜘蛛的索引到***新的信息,不用绕弯到网站中去抓取,节省了搜索引擎蜘蛛的时间,也就相当于提高了网站收录率。

  五、写法及注意事项

  对于Robots.txt写法一定要规范,写法上疏忽不注意的人并不在少数。首先来说:User-agent:*是必须要写的,*表示针对所有搜索引擎。Disallow:(文件目录)不包括括号,表示禁止搜索引擎索引的意思。

  Robots.txt的作用非常大,是告诉搜索引擎哪些应该抓取,哪些不应该抓取,从而起到一个提高网站收录率的目的。