+ 首页 > 谷歌学院 > 谷歌知识问答 > 谷歌蜘蛛如何抓取网页?上海google推广公司分享

谷歌蜘蛛如何抓取网页?上海google推广公司分享

文章来源:http://google.trueland.net发布日期:2014-01-18浏览:

  Google推广怎么做?除了一些必要的google推广技巧外,大家还需要探索和研究搜索引擎蜘蛛的抓取规律,这对大家做好google推广也是非常有帮助的。

搜索引擎 蜘蛛抓取

  那么谷歌搜索引擎蜘蛛是如何抓取网页的呢?上海google推广公司和大家一起分享分享。

  深度优先

  什么是深度优先呢?所谓深度优先就是说,搜索引擎在一个网站页面中发现了一个超链接,然后抓取到这个页面,当抓取到另外一个页面时,又发现了同样的超链接,又顺着这个超链接抓取下去,如此循环反复,这样会使得网站页面越来越低,传递的权重越来越少。

  宽度优先

  什么是宽度优先呢?宽度优先是搜索引擎推出的第二个抓取策略,google推广专家认为这种策略主要搜索引擎会将一个网站页面的所有连接都抓取一遍,然后再去抓取下一个页面,搜索引擎蜘蛛这样的抓取规律有一个不好的地方就是抓取效率和质量存在一些问题。

  在深度优先上,搜索引擎有着根本的问题,那么搜索引擎又推出了蜘蛛抓取的第二个策略,也就是宽度优先,宽度优先指的是,蜘蛛会先把这个页面所有的链接都爬一次,然后在顺着这些链接往下爬,但宽度优先也存在着问题,那就是蜘蛛抓取的效率和质量问题。

  先宽后深

  先宽后深,这是搜索引擎将深度优先和宽度优先相结合的一种抓取方式,那么这种组合式的抓取又是怎样的呢?搜索引擎蜘蛛会将一个页面的所有链接都抓取一遍,然后再根据这些url的权重来判定哪个url高,再采取深度优先的方式进行抓取。这种方式就避免了深度优先和宽度优先的缺点。主要是按照权重高低来抓取的。

  重点抓取

  什么是重点抓取呢?所谓重点抓取,就是说搜索引擎蜘蛛在抓取这个网页之后,会根据这个页面的权重(包括更新频率、文章质量、外链质量和数量)来判定权重高的页面,对于这种页面搜索引擎蜘蛛会隔一段时间来抓取一次,而对于那些权重低的网站页面,则采取隔很长一段时间抓取一次。

  Google推广不仅要掌握必要的技巧,更要熟知和探究搜索引擎蜘蛛抓取规律,通过了解这些规律,找到***适合google推广的方式,实现***优化效果。