Simone用实例告诉你怎么写robots.txt文件
的有关信息介绍如下：
想要让你的网站有进一步完善的SEO，修改或者写robots.txt文件就是必须进行的一项工作。
尤其是在建站初期的规划和修改阶段，更要重视对robots.txt文件的修改，还有就是在对网站完成以后，对某些目录也要进行一定的限制，这样才会对蜘蛛很友好。
记得将修改好的文件保存在网站根目录，并保存为robots.txt文件。
不任何搜索引擎收录任务目录和文件：
（这样用法一般在建站初期，很多文件在进行修改阶段。）
让所有目录和文件都可以让所有搜索引擎收录：
（这样写虽然很简单，但是对搜索引擎可是很不友好的）
不想让某个搜索引擎的访问你的网站，这样也不会被那个搜索引擎收录啦
（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
只允许某个搜索引擎的访问你的网站，同时要设置其他搜索引擎不允许访问才行
（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
设置网站的某个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
（平时使用的最多，一般设置参数文件夹，管理文件夹等）
需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
