详解网站SEO优化完整性的Robots.txt写法

对于很多新手SEOer不了解robots协议是什么,不知道robots文件在哪里以及robots编写规则。其实robots的编写对于我们的网站来说是非常重要的。我们在诊断网站的以一个需要诊断的因素就是robots文件,那么接下来以东尧SEO博客为例和大家一起来学习什么是robots.txt:

重庆SEO东尧博客Robots文件

重庆SEO东尧博客Robots文件

一、什么是robots.txt文件

1、它是我们的网站与各搜索引擎的一个协议,只是一个协议,搜索引擎不一定会遵守。

2、搜索引擎蜘蛛访问我们的网站时,第一个查看的文件就是我们网站根目录下的一个命名为robots.txt的文件。

3、robots协议不是今天写了,搜索引擎今天就会遵守,以百度为例其生效时间,需要两个月后才会遵守这个协议;

二、robots.txt文件编写规则

1、User-agent: 定义搜索引擎类型,常见的各搜索引擎的名字分别是:Baiduspider(百度蜘蛛)、Googlebot(谷歌蜘蛛)、360Spider(360蜘蛛)、Sosospider(SOSO蜘蛛)、Youdaobot(有道蜘蛛)等。东尧SEO博客robots.txt文件第一行写的是User-agent: *,其中“*”是通配符,代表东尧的SEO博客,允许所以的搜索引擎抓取。如果写成User-agent: Baiduspider,表示只有百度蜘蛛可以抓取我的网站内容。

2、Disallow:告诉蜘蛛不要抓取某些文件或目录,以东尧博客的robots.txt文件为例:

      Disallow: /wp-admin/,表示所有 URL路径里完全含有/wp-admin/这段字符的路径,搜索引擎蜘蛛都不能抓取;比如:http://www.dongyaoseo.com/wp-admin/post-new.php,这个链接搜索引擎蜘蛛是不能抓取的;

3、Allow:告诉搜索引擎蜘蛛哪些文件是可以抓取的。由于不指定就是允许抓取的,Allow:单独写没有意义,Allow是需要和Disallow配合使用,可以告诉搜索引擎蜘蛛某个目录下大部分不允许抓取,只允许抓取一部分。例如:下面的代码将使蜘蛛不抓取/ab/目录下其他目录和文件,但是允许抓取其中/cd/目录下的内容:

   User-agent: *
   Disallow: /ab/
   Allow: /ab/cd/

还需要说明的是,注意撰写的先后顺序,必须是这样。 4、其他符合含义说明: 1)"*"通配符:告诉蜘蛛匹配任意一段字符,例如:下面一段代码将禁止蜘蛛抓取所有htm文件:

   User-agent: *
   Disallow: /*.htm

2)"$"通配符:匹配URL结尾的字符。例如:下面的代码将允许蜘蛛抓取以.htm为后缀的URL:

   User-agent: *
   Allow: .htm$

下面的代码将禁止百度抓取所有.jpg文件:

   User-agent: Baiduspider
   Disallow: .jpg$

三、robots.txt的作用

1、告诉某搜索引擎  抓取或者不抓取我们网站的某些内容;

2、告诉搜索引擎我们网站优化的完善程度 ;

3、告诉搜索引擎应该通过哪个文件来索引我们的网站(逻辑路径)

四、常见的哪些情况下是不需要蜘蛛抓取

1、网站的账户密码、模板、网站的主程序、小图标;

2、一个页面有很多路径,只允许搜索页抓取其中的1条,其他的不允许(统一路径);

3、屏蔽tag中文路径,例如wordpress做了伪静态,就要屏蔽动态(tags.php?/%E%R)

4、标签链接、搜索页、js文件;

四、robots.txt文件编写的注意事项

1、注意符号细节的使用:/、:、大小写、空格等。比如:下面的例子表示所有搜索引擎不能抓取该网站;

    User-agent: *
    Disallow: /

2、一般robots.txt文件编写并提交后,需要几天到两个月以内才会生效;
3、不要随意屏蔽整站,会导致搜索引擎蜘蛛很久都不会来抓取你的网站;
4、所有的语句必须每个一行;不能这样写:

    User-agent: *
    Disallow: /wp-admin/ /wp-content/ /wp-includes/

正确写法参考东尧的robots.txt文件;
5、我们可以把网站地图URL放在robots.txt文件里,因为该文件是蜘蛛第一个抓取的文件,这样更 加方便蜘蛛快速抓取;以东尧的博客为例,讲一下URL写入该文件,如上图所示;
Sitemap_baidu: http://www.dongyaoseo.com/sitemap_baidu.xml

>>阅读了此文97%的SEOer还看过

您可以选择一种方式赞助本站

目前评论:2   其中:访客  1   博主  1

  1. avatar 彩虹 0

    你的博客真好!学习了

    • avatar 重庆SEO东尧博客

      @彩虹 感谢你的支持,多多指教呢!

评论加载中...

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

图片 表情