欢迎光临
跟随重庆SEO培训服务系统学习SEO优化知识

robots协议如何去写

robots协议如何去写?其实很简单,但是在学习如何写robots协议前,重庆SEO徐三将先为大家讲一下,robots协议的符号理解!这样才能有效的运用好robots协议!

robots协议如何去写

一、robots协议是什么

robots协议就是指定搜索引擎蜘蛛根据所写的robots协议爬寻,并且关系到所写的命令去执行。

二、robots协议里的符号介绍与写法

1.User-agent: 给不同的蜘蛛定义相应的规则

2.Disallow: 不需要访问的某一条路径

3.Allow: 允许某一条路径抓取

举例说明;

User-agent: *  (以下内容适用所有搜索引擎)

Disallow: / (禁止搜索引擎抓取网站内任何内容)

Disallow: /*?* (禁止搜索引擎抓取动态页)

Disallow: /admin/(禁止搜索引擎抓取管理员的内容)

Allow: /page/ (允许搜索引擎抓取的某条连接)

Sitemap: http://www.xusseo.com/sitemap.html(希望百度抓取的网站地图)

Sitemap: http://www.xusseo.com/sitemap.xml(希望谷歌抓取的网站地图)

链接:在网站中出现死链的时候,我们就可以用robots.txt来屏蔽一下,告知搜索引擎,这些链接不要被抓取。

地图:希望搜索引擎抓取网站地图时,我们就可以把网站地图放到robots.txt文件内。

总结:robots协议写法有很多,如果不是很懂千万不要去整,不然你的网站会有不一样的效果出现的(哈哈),写的时候也要注意一定认真看清楚,不然被屏蔽了也找不到什么原因!所以在此提醒大家写robots协议一定要注意!

未经允许不得转载:重庆seo|重庆seo服务-【七年seo优化实战技术经验】 » robots协议如何去写

本文链接: http://www.xusseo.com/seoczlc/234.html

版权声明:本文著作权归原作者所有,转载请注明出处,感谢!

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

重庆SEO培训徐三为您提供最专业的SEO案例方案

新手入门学习列表