网页采集器

网页正文智能采集技能。用 trafilatura 智能识别并提取网页正文（自动剔除广告、导航、页脚），支持普通浏览器 UA 与搜索引擎蜘蛛 UA 双策略降级，可单页采集或按 URL 清单批量归档为 Markdown。适配政策网站、招投标平台、新闻媒体、公众号文章、政府公告等公开页面的内容采集。触发场景：采集网页、抓取网页正文、网页转文字、批量下载网页、政策文件采集、招投标信息采集、网页内容归档、网页正文提取、网站内容抓取。中文触发词：采集网页、抓取网页、网页正文、网页转文字、批量抓网页、网页归档、政策采集、公告采集、链接采集。英文触发词：web scraping、fetch page、extract article、batch fetch、网页采集。不适用于：需要登录/验证码的页面、浏览器内交互操作（点击/填表，本技能只做静态与半动态抓取）、小红书/抖音等强反爬平台的专项采集（用 agent-reach）、已有链接内容解析归档（用 link-report-archiver）。

存档时间线

版本索引永久保留；内容副本只保留最近 2 版，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

相关资产