开发者的日常工具箱
Robots.txt 生成
配置爬虫、允许与禁止路径，生成 Robots.txt。
准备就绪本地处理 · 不上传内容
使用说明
各字段每行一条，多条 User-agent 共用同一组规则。留空 Disallow 表示不限制抓取；支持 * 和 $ 路径匹配。下载后放在站点根目录。Robots.txt 是爬虫规则，不能替代访问控制。
配置爬虫、允许与禁止路径，生成 Robots.txt。
各字段每行一条，多条 User-agent 共用同一组规则。留空 Disallow 表示不限制抓取；支持 * 和 $ 路径匹配。下载后放在站点根目录。Robots.txt 是爬虫规则，不能替代访问控制。