网站结构合理的重要性

来源：成都网站建设 时间：2016-11-05 点击次数：1028次

 

搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。 对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。
 
一、 robots.txt 1、 什么是robots.txt？ robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。 robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。 网站 URL 相应的 robots.txt的 URL http://www.w3.org/ http://www.w3.org/robots.txt http://www.w3.org:80/ http://www.w3.org:80/robots.txt http://www.w3.org:1234/ http://www.w3.org:1234/robots.txt http://w3.org/ http://w3.org/robots.txt
 
2、 robots.txt的语法 "robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： 　　　　":"。 在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下： User-agent: 该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent：*"这样的记录只能有一条。 Disallow : 该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow: /help/"则允许robot访问/help.html，而不能访问/help/index.html。 任何一条Disallow记录为空，说明该网站的所有部网站建设中遇到的问题，以及“Web标准”思想的产生、发展和推广。让你明白为什么要采用和推广Web 标准。
 
第二部分从技术细节上讲解了网站实际制作开发过程中如何向Web标准过渡，如何采用和符合Web标准。通过阅读本书，你可以清楚一些基本问题： Web标准是什么？ 网站一定要用标准吗？ 用标准和不用标准的区别？ 如何采用标准？ 如何向标准过渡？ 适合什么样的人看这本书适合的读者是：所有的网站设计者、开发者和所有者。 这不是广告词。不论对这一行业的新手还是资深人士，本书都将对你产生深刻影响。它告诉我们怎样做是正确的，以及应该如何做。也许本书介绍的思想和技术你可能不会马上接受或贯彻到工作中，但它是Web发展的趋势，是阻挡不了的发展趋势。它的重要性已经并将继续在Web领域体现。 对我们有什么好处如果你是Web设计师、开发者或所有者，如果你正在困惑自己应该学习什么，怎么做，如果你正在犹豫自己网站的发展方向，如果你正在想如何把自己提高一个层次，如果你正在头疼不断的网站升级问题，本书正是你需要的！ 它告诉你Web开发的技术将如何发展，未来的Web将是怎样的。看清楚了这些，如何发展网站，自己如何定位就容易得多。
 
任何书都有它的价值所在。如果需要一个理由购买这本书，那么我会这样说：你可以不买这本书，但是本书的思想和技术你一定要了解，总有一天你会需要它，这一点是百分之百肯定的。与其被动地、等到迫不得已的时候再来了解和学习，为什么不现在就行动？ 译者的感受对于本书的作者Jeffrey Zeldman，国内设计师和开发者可能并不熟悉，但在国外，同行无人不知。他领导的Web标准组织（www.Webstandards.org）帮助终止了Microso ft 与Netscape之间的浏览器之战，使得我们不再需要考虑浏览器不同版本问题。他也是资深的设计师，对网站技术的历史和发展了如指掌。通过翻译本书，我们对Web标准的发展历史、Web标准技术的应用进行了系统而全面的了解。特别是许多技术细节的来龙去脉，常常让我们顿悟：原来如此！ 本书不像Flash或者Photoshop教程那么有趣，也不像程序语言教材那样立竿见影，但我们还是决定翻 Disallow: /cgi-bin/