Robots.txt是放在网站根目录下的一个文本文件用于告诉搜索引擎哪些页面可以抓取哪些页面不能抓取。Robots文件的写法很简单但写错了可能导致严重后果。基本语法是User-agent指定搜索引擎Agent后面跟Disallow或Allow指令。Disallow禁止抓取某个目录或页面Allow允许抓取某个目录或页面。常见的用法是禁止抓取后台管理目录、临时页面、搜索结果页面等不希望被收录的页面。写robots文件时要注意不要误屏蔽了重要页面。建议在百度站长平台使用robots检测工具来验证robots文件的正确性。 百度SEO优化