郑州SEO论坛-服务郑州广大SEO爱好者!
标题:
搜索引擎爬行过程简介
[打印本页]
作者:
qq1252074835
时间:
2014-8-19 12:35
标题:
搜索引擎爬行过程简介
1、搜索引擎程序是通过网页之间的链接,不分昼夜的爬行来获取信息,收录标准主要由URL的权重、网站规模大小等因素决定;
2、搜索引擎进入服务器时,第一时间查看robots.txt(控制搜索引擎收录的标准)文件,如果robots.txt文件不存在,则返回404错误代码,但依然会继续爬行,如果定义了某些规则,则遵守索引。
3、建议必须有一个robot .txt文件(推荐阅读:robots.txt的写法[url=https://www.0371zl.com/www.0371zl.com/eo.aizhan.com/qa/385.html]www.0371zl.com/eo.aizhan.com/qa/385.html[/url])。
搜索引擎抓取数据的方式
1、垂直抓取策略:指搜索引擎顺着一条链接爬行,直到设定的任务完成。
思路如下:垂直抓取策略A链接A网页链接A网页链接的链接 ,一直垂直抓取到最底。
2、平行抓取策略:指先把网页山的链接全部抓取一次,然后接着从每条链接牌型。
总结:在实际应用中,这两种策略会同时发生,抓取的深度和广度取决于页面的权重、结构和网站规模大小以及新鲜内容数量和频率,当然这里面包含了很多的seo的策略。
作者:
王生士
时间:
2014-8-20 11:43
提示:
作者被禁止或删除 内容自动屏蔽
作者:
wff月
时间:
2014-8-20 18:20
经典干货,LZ辛苦
欢迎光临 郑州SEO论坛-服务郑州广大SEO爱好者! (https://www.0371zl.com/)
Powered by Discuz! X2.5