深圳行者网络营销培训学校专注网络营销课程培训;学网络营销培训课程,来行者网络营销学校

咨询电话: 13480860031
网络营销学习中,禁止蜘蛛抓取网站的方法

网络营销学习中,涉及到网站优化,网站收录,必然要考虑不让搜索引擎蜘蛛爬行我们的一些页面,比如:一些私密或重要内容,或者重复的内容,没有意义的内容等。此时可以使用robots协议来设置。
禁止抓取
robots.txt的作用
防止私密或重要内容被搜索引擎抓取
节省服务器资源,从而提高服务质量
减少重复抓取,提高网站质量
指定sitemap文件位置
User-agent: * 
针对哪个搜索引擎蜘蛛
这里的*代表搜索引擎种类,*是通配符
Allow
定义的是允许蜘蛛抓取某个栏目或文件
Disallow
定义的是禁止蜘蛛抓取某个栏目或文件
Disallow: /admin/ 
这里定义是禁止抓取admin目录
 
robots.txt文件主要是限制整个站点或者目录的蜘蛛访问情况,而robots meta标签则主要是针
 
对某个具体的页面
<meta name=“robots" content="index,follow"> 
 
robots meta标签语法
name=“robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=”Baiduspider”
content部分有四个指令,以英文逗号隔开
index指令告诉蜘蛛可以抓取该页面
follow指令表示蜘蛛可以爬行该页面上的链接
共有四种组合:
<meta name="robots" content="index,follow"> 
<meta name="robots" content="noindex,follow"> 
<meta name="robots" content="index,nofollow"> 
<meta name="robots" content="noindex,nofollow">



课程体系

关于我们

联系我们

电话(同微信):13480860031

QQ咨询:3465573918

微信沟通更方便
深圳行者网络营销培训学校专注网络营销培训包含:企业网络营销策划培训、营销型网站搭建、 seo优化培训、搜索引擎竞价、付费推广培训、微博、微信、新媒体培训等课程内容。学网络营销课程,赢成功人生!