robots.txt写法详解：从基础规则到常见错误避坑指南

📍 WDQWDWQD987AAAAA:216.73.216.244
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /a14d58e5e87d.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道门槛，正确的 robots.txt 写法能帮助爬虫高效抓取，避免收录敏感页面。但很多站长因规则理解偏差导致误屏蔽，本文从基础语法到实战避坑，帮你掌握规范的 robots.txt 写法。

一、robots.txt 文件必须放在根目录

robots.txt 只能放置在网站根目录下，例如 https://example.com/robots.txt。子目录中的 robots.txt 不会被爬虫识别。文件需为纯文本，编码建议 UTF-8，文件名全部小写。

二、核心指令与基本写法

• User-agent：指定规则适用的爬虫，* 代表所有爬虫，也可写 Baiduspider、Googlebot 等具体名称。
• Disallow：禁止抓取的路径，如 Disallow: /admin/；留空表示允许所有。
• Allow：允许抓取的路径，用于在 Disallow 范围内设置例外。
• Sitemap：声明站点地图地址，建议每行写一个完整 URL。

基本示例：

User-agent: *
Disallow: /admin/
Disallow: /search/
Allow: /search/about
Sitemap: https://example.com/sitemap.xml

三、常见错误与避坑要点

1. 不要用 Disallow: / 屏蔽整站，除非网站正在维护且明确需要临时下线。
2. 规则区分大小写，路径需与真实 URL 一致。
3. 通配符 * 和结束符 $ 并非所有爬虫完全支持，建议优先使用精确路径。
4. 不要通过 robots.txt 隐藏敏感信息，它只是爬虫协议，无法阻止恶意访问。
5. 修改后务必在浏览器或站长平台验证，确认文件可正常访问且无语法错误。

四、验证与维护建议

写完 robots.txt 后，可用百度搜索资源平台或 Google Search Console 的 robots 测试工具检查规则是否生效。建议定期审查文件，尤其在上线新栏目或调整 URL 结构后，及时更新 Disallow 与 Sitemap 配置，确保爬虫抓取路径与网站实际结构保持一致。