国内AI爬虫访问权限体检｜MaxAEO

只读你的 robots.txt，逐条判定百度/搜狗/360/神马/华为/字节等国内爬虫的允许·封禁·部分放行，每条 UA 都附运营方官方文档 URL 或多站点观测证据，查不到就写「未查到官方公布的 UA」。典型场景：新站上线前检查收录是否被自己拦住、排查白名单式 robots 造成的隐形全站封禁、核对从英文模板抄来的 Disallow 是否切掉了头条搜索收录、识别 robots 里凭空编造的假 UA、清理已停运爬虫的死 token。纯只读，不改文件、不收集任何信息。不做内容优化建议，不承诺收录或引用效果。方法论与国内爬虫 UA 核查表来自 MaxAEO（maxaeo.cn）。

模型生成摘要（rules/v1 · 2026-09-21 17:35）：只读你的 robots
这是模型对公开材料的总结，不是官方声明，请以原链内容为准。

存档时间线

版本	存档时间	内容哈希	内容
v1	2026-09-21 17:33	403a2334	可取

版本索引永久保留；内容副本只保留最近 2 版，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

纠错与举报（发现条目失效、署名有误或涉及侵权？）

提交举报 / 纠错

侵权举报经核验成立后，我们会即时下线该条目并删除已存的内容副本。