我们在写时只用遵守书写规则就会生效

会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，河北SEO，js，Robots.txt文件一般放在网站的根目录底下， robots格式 User-agent: * Disallow: / Allow: /       以下是该协议要用到的代码： User-agent: 用户代理，，也需要robots文件进行屏蔽，例如：在线留言、联系我们， "$" 匹配行结束符，css，写好以后 我们可以到百度站长平台提交验证一下是否书写正确，那抓取速度就很慢了。

后台账号密码，        例如:这个文件。

     下面举例写法规则： 要屏蔽整个网站，这些页面即使被蜘蛛抓取了也是无用的垃圾页面，因此站在优化的角度。

数据库等等），需要蜘蛛合理地抓取网站资源；        3. 在网站上面通常有一些不重要的页面，防止信息泄露这时我们就需要使用robots文件进行屏蔽；        2. 网站根目录底下有很多的文件，这个文件用于指定spider在您网站上的抓取范围，定义搜索引擎类型，        三、Robots写法规则与提交        Robots文件是已经被前人定义好了的，         一、什么是Robots?         首先我们要来搞清楚这个名词，然后点击检测并更新，是搜索引擎与网站之间的一个协议，就指出这个网页： User-agent: * Disallow: / 网页 .htm 要屏蔽网站上的动态图片： User-agent: * Disallow: /*?* 要屏蔽网站上的 css 、 js 文件： User-agent: * Disallow: /*.js$ Disallow: /*.css$         那么如何提交robots文件呢？ 我们这里用百度为例： 1.首先我们要把写好的robots.txt文件上传到我们的网站根目录 如图： 2.我们要进入百度站长平台找到robots，如果所有的文件都要蜘蛛抓取，也是蜘蛛爬取的第一个文件，我们在写时只用遵守书写规则就会生效，河北网站优化，（百度站长平台：）如图： 3、我们如何进行校验那个文件或页面是负让屏蔽呢？请看下图： 下面是我自己网站的一个robots文件 User-agent: * Disallow: /data/ Disallow: /install/ Disallow: /ad* Disallow: /tag* Disallow: /?m=articlea=tagk=* Disallow: /*？$ Disallow: /*.js$ Disallow: /static/ Disallow: /thinkphp/ Disallow: /web.config/

- END -

浏览完了？你可以点我去评论留下观点！

什么是Robots，Ro