方式一:设置robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件 放至网站根目录下,编辑代码如下:
User-agent:* Disallow:/
通过以上代码,即告诉搜索引擎不要抓取,采取,收录本网站。
注意:如果使用上面的代码,就是将禁止所有搜索引擎访问网站的任何部分。
下面举例常见的用法:
1、禁止所有搜索引擎访问网站的所有部分
User-agent:* Disallow:/
2、禁止百度收录网站所有部分
User-agent:Baiduspider Disallow:/
3、禁止Google收录全站
User-agent:Googlebot Disallow:/
4、禁止除了Google 外的一切搜索引擎搜录全站
User-agent:Googlebot Disallow: User-agent:* allow:/
5、禁止除了百度外的一切搜索引擎搜录全站
User-agent:Baiduspider Disallow: User-agent:* allow:/
6、禁止所有搜索引擎 访问某个目录 (比如禁止根目录下的admin和css)
User-agent:* Disallow:/css/ Disallow:/admin/
方式二:设置网页代码方法
在网站首页代码<head></head>之间,加入以下代码来禁止搜索引擎的收录和索
## 禁止所有搜索引擎的收录和索引 <meta name="robots" content="noindex"> ## 禁止百度搜索引擎和索引 <meta name="Baiduspider" content="noindex"> ## 禁止Google搜索引擎和索引 <meta name="googlebot" content="noindex">
还没有评论,来说两句吧...