欢迎来到玉米社(深圳)网络服务有限公司官网!

常见问题

玉米社新闻

MORE+

蜘蛛深度抓取和广度抓取【玉米社】


作者:玉米社 时间:2022-01-12浏览量:481

蜘蛛深度抓取和广度抓取【玉米社】

深度抓取:蜘蛛发现一个链接时,会沿着链接路径一直爬行到最深一层,直到不能再爬,返回最初页面爬行下一个链接。

广度抓取:蜘蛛会抓取当前页面链接中的所有网页,然后选择其中一个网页,继续抓取页面中的所有链接。



蜘蛛深度抓取和广度抓取示意图


影响蜘蛛抓取的因素:

1、网站地图

网站地图对搜索引擎蜘蛛而言,就相当于一副爬行路线图,有路线图的指引,能大大提升蜘蛛爬取页面的速度。就好比去陌生的城市,需要地图指引是一样的道理。


2、404错误页面

网站维护、内容改版不可避免的会出现死链问题。当蜘蛛爬行到死链,就如同进入死胡同,没有出口。如果网站死链较多,又没有404页面,在站长工具进行查询时,就会发现很多页面抓取错误。而404页面的意义就在于,告诉搜索引擎当前内容不存在,可以沿着404页面链接路径,返回首页或者查看其他相关内容。蜘蛛深度抓取和广度抓取?


3、导出链接过多

蜘蛛爬取网站时,有时按照深度抓取,有时按照广度抓取方式进行抓爬,当蜘蛛按照广度抓取时,还没来得及进入最深层页面,就沿着导出链接直接出去了,因此,网站不宜设置过多导出链接。


4、导入链接过少

导入链接建设遵循以下2个原则:

多样性:可以注册多个外链发布平台,以防其中某个账号封停造成外链大幅波动;

高质量:相关性的高权重平台是你的不二之选,外链引蜘蛛的同时,还能为你带来相关流量。



蜘蛛深度抓取和广度抓取是什么意思?更多网络营销推广知识,尽在玉米社。



蜘蛛深度抓取和广度抓取了解详情


本文关键词:蜘蛛深度抓取和广度抓取

联系玉米社

联系电话:137-9855-6913


公司邮箱:yms688@163.com


公司地址:深圳市龙华区民治街道上芬社区龙胜路与景龙建设路交汇处融创智汇大厦A座1910

相关资讯

用户评论

我要评论

( 内容最多500个字 )

重写提交

备案号:粤ICP备16110085号-1

咨询热线

137-9855-6913

微信咨询

我要留言关闭当前窗口