河北网站优化SEO入门 ↬ 正文SEO入门

我们在写时只用遵守书写规则就会生效

河北网站优化2020-06-25 19:06SEO入门快速评论

会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,河北SEO,js,Robots.txt文件一般放在网站的根目录底下, robots格式 User-agent: * Disallow: / Allow: /       以下是该协议要用到的代码: User-agent: 用户代理,,也需要robots文件进行屏蔽,例如:在线留言、联系我们, "$" 匹配行结束符,css,写好以后 我们可以到百度站长平台提交验证一下是否书写正确,那抓取速度就很慢了。

后台账号密码,        例如:这个文件。

     下面举例写法规则: 要屏蔽整个网站,这些页面即使被蜘蛛抓取了也是无用的垃圾页面,因此站在优化的角度。

数据库等等),需要蜘蛛合理地抓取网站资源;        3. 在网站上面通常有一些不重要的页面,防止信息泄露这时我们就需要使用robots文件进行屏蔽;        2. 网站根目录底下有很多的文件,这个文件用于指定spider在您网站上的抓取范围,定义搜索引擎类型,        三、Robots写法规则与提交        Robots文件是已经被前人定义好了的,         一、什么是Robots?         首先我们要来搞清楚这个名词,然后点击检测并更新,是搜索引擎与网站之间的一个协议,就指出这个网页: User-agent: * Disallow: / 网页 .htm 要屏蔽网站上的动态图片: User-agent: * Disallow: /*?* 要屏蔽网站上的 css 、 js 文件: User-agent: * Disallow: /*.js$ Disallow: /*.css$         那么如何提交robots文件呢? 我们这里用百度为例: 1.首先我们要把写好的robots.txt文件上传到我们的网站根目录 如图: 2.我们要进入百度站长平台找到robots,如果所有的文件都要蜘蛛抓取,也是蜘蛛爬取的第一个文件,我们在写时只用遵守书写规则就会生效,河北网站优化,(百度站长平台:)如图: 3、我们如何进行校验那个文件或页面是负让屏蔽呢?请看下图: 下面是我自己网站的一个robots文件 User-agent: * Disallow: /data/ Disallow: /install/ Disallow: /ad* Disallow: /tag* Disallow: /?m=articlea=tagk=* Disallow: /*?$ Disallow: /*.js$ Disallow: /static/ Disallow: /thinkphp/ Disallow: /web.config/

- END -

浏览完了?你可以点我去评论留下观点!

相关文章

评论

    不发表一下观点,这个评论功能拿来做什么?
    • 全部评论(0
      还没有评论,快来抢沙发吧!

本月热门

站点信息

  • 网站运行
  • 共有文章:391 篇
  • 标签管理标签云