郑州SEO论坛-服务郑州广大SEO爱好者!

标题: 网站robots文件的写法 [打印本页]

作者: seoer 时间: 2015-1-4 10:23
标题: 网站robots文件的写法
在大家平时site:网站的时候或者刚改版完网站的时候是不是经常遇到一些页面和死链接是你不想让搜索引擎收录的，但是却被收录了，而且数量还很多的情况，作为一个SEO在优化过程中会遇到很多这样的问题，怎么做才可以减免甚至是避免这种情况发生呢？
学会写robots.txt文件就可以避免这种情况的发生，它是一个存放在网站根目录下的文件，是一个协议
，当搜索引擎蜘蛛访问你的网站的时候就会先寻找网站根目录下是否有这个文件，这个文件的作用是告诉搜索引擎蜘蛛网站中什么可以被查看的，什么是不能抓取，这种就给了蜘蛛很好的引导，也免去了我们的后顾之忧。
robots.txt文件要怎么写？
一些格式我们要注意文字中每一行都应该是大写字母开头的命令，后面跟“：”，“：”号后必须跟个空格，必须以特定路径“/”开头。看到这里大家肯定会觉得很抽象，那就让我们来看看具体的写法： 
User-agent 针对的搜索类型
Disallow 不允许
Allow : 允许
/ 泛指目录也泛指特定路径
* 通配符
sitemap: 网站地图
$ 特定页面，特定文件类型
User-agent: * ;针对所有搜索引擎
Disallow: ;允许所有
Allow: / ;允许所有
Disallow: / ;不允许所有
Disallow: /img ;表示不允许抓取路径中含有IMG的所有文件和文件夹
Disallow: /img/ ;表示不允许抓取img文件夹下的所有文件和文件夹
Allow: /54.html ;表示所有以54.html结尾的都可以抓取
Allow: /img/54.html ;表示允许抓取img文件夹下的54.html
Disallow: /*.jpg$ ;表示不允许抓取所有的.JPG的文件
针对User-agent有以下蜘蛛类型：
1、Baiduspider 百度机器人
2、Googlebot 谷歌机器人
3、Yahoo Slurp 雅虎机器人
4、Sosospider 搜搜机器人
5、sogou spider 搜狗机器人
6、MSNBot Live MSN机器人
总结：经过上述的说明，robots.txt文件你会写了吗？对它的功能、作用及重要性也应该有了一定的认识。在做了网站改版之后要将死链接写入robots文件，避免蜘蛛抓取死链接，然后提交百度站长工具进行删除，做SEO就是从每一个小细节做起，积累起来就能够成就排名。
</div>
郑州SEO论坛：https://www.0371zl.com

作者: bpeyv 时间: 2015-1-30 02:21
提示: 作者被禁止或删除内容自动屏蔽

作者: lmvwx 时间: 2015-1-31 00:10
看了楼主的帖子，让我陷入了严肃的思考中

欢迎光临郑州SEO论坛-服务郑州广大SEO爱好者! (https://www.0371zl.com/)