1、不任何搜索引擎收录任务目录和文件：（这样用法一般在建站初期，很多文件在进行修改阶段。）
2、让所有目录和文件都可以让所有搜索引擎收录：（这样写虽然很简单，但是对搜索引擎可是很不友好的）
3、不想让某个搜索引擎的访问你的网站，这样也不会被那个搜索引擎收录啦（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
4、只允许某个搜索引擎的访问你的网站，同时要设置其他搜索引擎不允许访问才行（针对某个搜索引擎，用法可以根据你自己的实际情况设置）
5、设置网站的某个目录对搜索引擎的勃谧锵疙访问做了限制，即搜索引擎不会访问这三个目录。（平时使用的最多，一般设置参数文件夹，管理文件夹等） 亟冁雇乏需要注意的是对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
