1、robots.txt文件应该放置在网站根目录下。首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3、下面让我们看看robots的使用写法
5、注意robots写法的规范性
robots写法和说明
时间：2024-10-13 11:28:081、robots.txt文件应该放置在网站根目录下。首先会检查该网站中是否存在robots.txt这个文件，如果 Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
3、下面让我们看看robots的使用写法
5、注意robots写法的规范性