欢迎光临
我们专注百度快照排名,网站快照排名优化,

如何有效的屏蔽百度蜘蛛

很多时候,我们都不会去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的网站门户网,有登录页面或者是注册页面,还有一些不想让百度蜘蛛抓取文件都可以利用robots协议来完成,那么重庆SEO徐三就讲解哈屏蔽百度蜘蛛的具体方法。

一、robots协议

robots协议相信大家都不陌生,首先既然要用到robots协议,那么我们就要先创建一个记事本,把记事本重命名为robots,然后我们写下robots协议具体如下:

User-agent: BadBot
Disallow: /

然后保存后通过FTP工具上传到网站根目录即可。

二、robots Meta标签

robots Meta标签也可以屏蔽百度蜘蛛抓取,这种方法与robots类似,但是还是部分搜索引擎不支持,robots Meta用来对某几个页面单独设置时使用。其代码是写在“<head></head>”之间,如下所示:

<head>

<meta name=”robots” content=”index,follow” />

</head>

三、.htaccess屏蔽

如果说使用robots协议无法全部屏蔽你的网站,那么你可以在你的网站根目录下找到.htaccess屏蔽代码如下:

方法1:

RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]

RewriteRule .* – [F]

方法2:

SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot

<Limit GET POST>

Order Allow,Deny

Allow from all

Deny from env=bad_bot

</Limit>

总结:百度蜘蛛屏蔽方法有许多,以上方法可参考,重庆SEO徐三觉得还是以robots协议较好,所以其他方法及时可以用,但是也不建议去做,因为一步小心搞错了,就会导致麻烦不断!

未经允许不得转载: » 如何有效的屏蔽百度蜘蛛

本文链接: http://www.xusseo.com/seoczlc/229.html

版权声明:本文著作权归原作者徐三seo所有,转载请注明出处,感谢!

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

重庆SEO培训徐三为您提供最专业的SEO方案

SEO十万个为什么熊掌号专题