用实例告诉你怎么写robots.txt文件
的有关信息介绍如下:想要让你的网站有进一步完善的SEO,修改或者写robots.txt文件就是必须进行的一项工作。
尤其是在建站初期的规划和修改阶段,更要重视对robots.txt文件的修改,还有就是在对网站完成以后,对某些目录也要进行一定的限制,这样才会对蜘蛛很友好。
记得将修改好的文件保存在网站根目录,并保存为robots.txt文件。
不任何搜索引擎收录任务目录和文件:
(这样用法一般在建站初期,很多文件在进行修改阶段。)
让所有目录和文件都可以让所有搜索引擎收录:
(这样写虽然很简单,但是对搜索引擎可是很不友好的)
不想让某个搜索引擎的访问你的网站,这样也不会被那个搜索引擎收录啦
(针对某个搜索引擎,用法可以根据你自己的实际情况设置)
只允许某个搜索引擎的访问你的网站,同时要设置其他搜索引擎不允许访问才行
(针对某个搜索引擎,用法可以根据你自己的实际情况设置)
设置网站的某个目录对搜索引擎的访问做了限制,即搜索引擎不会访问这三个目录。
(平时使用的最多,一般设置参数文件夹,管理文件夹等)
需要注意的是对每一个目录必须分开声明,而不要写成:“Disallow: /cgi-bin/ /tmp/”。