搜索与AI爬虫访问控制｜简诗 AI

生成或审计robots.txt中的允许、禁止、站点地图与AI爬虫策略，避免误封重要页面或浪费抓取资源。

模型生成摘要（rules/v1 · 2026-09-21 22:07）：生成或审计robots
这是模型对公开材料的总结，不是官方声明，请以原链内容为准。

存档时间线

版本	存档时间	内容哈希	内容
v1	2026-09-21 22:05	c6b1d059	可取

版本索引永久保留；内容副本只保留最近 2 版，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

纠错与举报（发现条目失效、署名有误或涉及侵权？）

提交举报 / 纠错

侵权举报经核验成立后，我们会即时下线该条目并删除已存的内容副本。