robots. txt 是一个最简单的.txt 文件，用以告诉搜素引擎哪些网页可以收录，哪些不允许收录。如果站点对所有搜素引擎公开，则不用做这个文件或者robots.txt 为空就行。robous. txt必须放置在一个站点的根日录下，而且文件名必须全部小写。