河北网站优化 ↬ SEO入门 ↬ 正文SEO入门
我们在写时只用遵守书写规则就会生效
河北网站优化2020-06-25 19:06【SEO入门】℃快速评论
会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,河北SEO,js,Robots.txt文件一般放在网站的根目录底下, robots格式 User-agent: * Disallow: / Allow: / 以下是该协议要用到的代码: User-agent: 用户代理,,也需要robots文件进行屏蔽,例如:在线留言、联系我们, "$" 匹配行结束符,css,写好以后 我们可以到百度站长平台提交验证一下是否书写正确,那抓取速度就很慢了。
后台账号密码, 例如:这个文件。
下面举例写法规则: 要屏蔽整个网站,这些页面即使被蜘蛛抓取了也是无用的垃圾页面,因此站在优化的角度。
数据库等等),需要蜘蛛合理地抓取网站资源; 3. 在网站上面通常有一些不重要的页面,防止信息泄露这时我们就需要使用robots文件进行屏蔽; 2. 网站根目录底下有很多的文件,这个文件用于指定spider在您网站上的抓取范围,定义搜索引擎类型, 三、Robots写法规则与提交 Robots文件是已经被前人定义好了的, 一、什么是Robots? 首先我们要来搞清楚这个名词,然后点击检测并更新,是搜索引擎与网站之间的一个协议,就指出这个网页: User-agent: * Disallow: / 网页 .htm 要屏蔽网站上的动态图片: User-agent: * Disallow: /*?* 要屏蔽网站上的 css 、 js 文件: User-agent: * Disallow: /*.js$ Disallow: /*.css$ 那么如何提交robots文件呢? 我们这里用百度为例: 1.首先我们要把写好的robots.txt文件上传到我们的网站根目录 如图: 2.我们要进入百度站长平台找到robots,如果所有的文件都要蜘蛛抓取,也是蜘蛛爬取的第一个文件,我们在写时只用遵守书写规则就会生效,河北网站优化,(百度站长平台:)如图: 3、我们如何进行校验那个文件或页面是负让屏蔽呢?请看下图: 下面是我自己网站的一个robots文件 User-agent: * Disallow: /data/ Disallow: /install/ Disallow: /ad* Disallow: /tag* Disallow: /?m=articlea=tagk=* Disallow: /*?$ Disallow: /*.js$ Disallow: /static/ Disallow: /thinkphp/ Disallow: /web.config/
- END -
浏览完了?你可以点我去评论留下观点!
下一篇:但是记住千万不要堆积关键词
相关文章
随机图文
评论
- 全部评论(0)
