作为一名网站优化人员，我们都很清楚Robots.txt文件对我们网站的重要性，Robots.txt文件只是一个纯文本文件，它就像网站地图一样，给搜索引擎指明道路，当蜘蛛搜索一个站点时，它首先爬行来检查该网站的根目录下是否存在Robots.txt文件，如果存在的话，搜索引擎会按照该文件的内容来确定访问范围，如果该文件不存在的话，那么搜索引擎就会沿着链接来抓取。那么程序员在设置Robots.txt文件时候应该了解到这个文件给我们网站带来了哪些好处?

　　第一， Robots.txt文件大大节省服务器宽带

　　我们都知道像email retrievers、image  strippers这类搜索引擎都耗用大量宽带，而且对网站没有什么太大的意义，而通过Robots.txt就可以制止不必要的爬行工作，如果你的网站是图片站的话，没有设置好Robots.txt文件的话，就会浪费大量的服务器宽带。

　　第二、方便搜索引擎爬起工作

　　如果你的网站内容丰富，页面很多，设置Robots.txt文件更为重要，比如你有个网站，整个站有50多个G，打开页面可能会比较慢，如果不配置好Robots.txt文件的话，蜘蛛爬行工作就会很费力，而且如果太多的蜘蛛爬行，以至会影响你网站的正常访问。

　　第三、robots.txt文件可以制止搜索引擎索引页面

　　你可以通过RobotS.txt文件对你的网站非公开页面进行制止蜘蛛爬行，如果你的网站后台程序、管理程序很重要不想让别人看到、那么你可以通过Robots.txt进行设置，事实上，对于某些在运行中产生临时页面的网站来说，如果没有配置Robots.txt文件的话，搜索引擎甚至会索引那些临时文件。

　　第四、robots.txt对网站地图链接重要性