SEO新手提问 什么叫搜索引擎蜘蛛?
发布时间：2022-01-19 13:20:38 所属栏目：优化 来源：互联网
导读：搜索引擎蜘蛛其实就是搜索引擎的抓取程序，叫法也不统一，有叫机器人的，也有叫爬行器的，还有叫爬虫的等等。 因为搜索引擎的抓取方式是通过链接来实现的，一个个的链接连在一起，整合起来就好像是一张巨大的蜘蛛网，所以被称大家通俗的称之为蜘蛛。 蜘蛛
|
搜索引擎蜘蛛其实就是搜索引擎的抓取程序，叫法也不统一，有叫机器人的，也有叫爬行器的，还有叫爬虫的等等。 因为搜索引擎的抓取方式是通过链接来实现的，一个个的链接连在一起，整合起来就好像是一张巨大的蜘蛛网，所以被称大家通俗的称之为蜘蛛。 蜘蛛的工作方式是从已知的网页出发，通过网页中的链接地址寻找到其它的网页，然后又通过这个网页上面的链接找到其它的网页，这样子一直循环下去。 蜘蛛虽然工作的很勤劳，但是互联网上的网页太多了，对于搜索引擎来说要将所有的网页抓取到几乎是不可能的，从目前公布的数据来开，搜索引擎能够抓取到全部网页的百分之四十左右，这已经很了不起了。 在网页抓取的时候，蜘蛛一般会采用两种策略，分别是：深度优先和广度优先。深度优先是指蜘蛛会从起始页开始往下跟踪，处理完一条线路之后返回到起始页，再继续跟踪。广度优先是指蜘蛛会先抓取到网站中的所有链接，然后再选择其中的一个链接网页，再继续抓取这个页面上的全部链接。 我们一起来看看目前主流搜索引擎蜘蛛的名字吧。 百度蜘蛛：baiduspider google蜘蛛： googlebot yahoo蜘蛛：slurp soso蜘蛛：Sosospider 搜狗蜘蛛：Sogou web spider lexa蜘蛛：ia_archiver 必应蜘蛛：msnbot 有道蜘蛛：YodaoBot和OutfoxBot （编辑：昌吉站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐