欢迎光临
跟随重庆SEO培训服务系统学习SEO优化知识

重庆SEO第五课:robots.txt文件,robots.txt怎么写!

robots.txt文件,robots.txt怎么写?前段时间重庆SEO徐三看到很多的企业网站都没robots.txt文件,其中一个正常的robots.txt文件应该要怎么写呢,今天给大家来说说robots.txt怎么写,robots文件常规的写法。

robots.txt文件,robots.txt怎么写!

如图所示,是我之前对其中一个企业站中看到的dede系统,dede系统是附带了一个robots.txt文件的,那些页面又该去写robots协议呢,常规的写法如下;

1、禁止所有搜索引擎访问 User-agent: * Disallow: /

2、允许所有搜索引擎访问 User-agent: * Allow:

3、网站地图:Sitemap:

如何去知道那些页面需要屏蔽呢?很多的新手SEO站长不知道,如何写robots.txt文件,robots.txt应该怎样写!不懂没关系!以下举例说明;

1.比如注册页面、联系我们、关于我们等页面都可以用robots禁止,因为这样的页面在所有的搜索引擎看来是没任何有意义的,更不会有人去搜索注册来到你的网站。所以这样的没必要的页面可以去禁止蜘蛛爬寻,当然了如果想让这些页面收录又不想分权重就可以运用到nofollow标签了。

2.后台登录可以说是对搜索引擎抓取完全没用,难道想让蜘蛛做无用的爬寻吗?当然不行!所以若是不被搜索引擎收录,我们就要用robots.txt文件屏蔽后台登陆页面。

3.在许多时候大家的网站都会做静态页面或者是伪静态页面,那么有动态页面,我们通常会用robots.txt文件写法来屏蔽蜘蛛抓取!

总结:对于robots.txt文件还是要去写的,不管出于哪方面,蜘蛛第一时间是先去根据你写的robots.txt文件爬寻,其次刚刚也说过可以把网站地图提交robots.txt文件,这样就可以有助于蜘蛛爬寻与提升收录

 

未经允许不得转载:重庆seo|重庆seo服务-【七年seo优化实战技术经验】 » 重庆SEO第五课:robots.txt文件,robots.txt怎么写!

本文链接: http://www.xusseo.com/seoxs/242.html

版权声明:本文著作权归原作者所有,转载请注明出处,感谢!

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

重庆SEO培训徐三为您提供最专业的SEO案例方案

新手入门学习列表