SEO新手必看基础：[13]robots.txt文件应用

1、　在“百度搜索帮助中心”中，　　对如何禁止百度蜘蛛访问是这样定义的：User-agent:BaiduspiderDisallow:/　　仅允许百度蜘蛛的访问：User-agent多唉捋胝:BaiduspiderDisallow:　　禁止百度蜘蛛访问特定目录：User-agent:*Disallow:/cgi-bin/Disallow:/tmp/Disallow:/~joe/

3、例2

5、例4

7、例6

9、例8

11、例10

13、例12

14、新旧页面的处理方法：新旧页面的处理议陬涸渎即网站改版，旧的内容页面和新的内容页面重复，只是URL不同的情况下则需要以robots.txt把旧页面屏蔽掉，只充许搜索引擎收录新的页面。