资产目录

SiteOne 爬虫技术SEO和网站审计

SiteOne 爬虫是用于技术 SEO、可访问性、安全性和性能检查的真正网站爬虫和分析器

Arxiv Paper Reviews

Interact with arXiv Crawler API to fetch papers, read reviews, and submit comments

Smart Crawler - 智能爬虫工具

智能爬虫工具 - 企业级数据采集与反爬虫处理 | Smart Web Crawler - Enterprise data collection with anti-detection

Photon 高速 OSINT 网络爬虫和数据提取器

Photon 是一款专为 OSINT 作战打造的超快速 Python 网页爬虫

技术SEO审计爬虫

使用Screaming Frog CLI、Lighthouse CI API和PageSpeed Insights v5爬取网站的技术SEO问题

Scrapy 分布式爬虫框架

使用Scrapy和scrapy-redis进行大规模网络爬取，实现分布式任务队列

Apify Actor Web Crawler

通过 Apify API v2 部署自定义 Apify Actors，使用 CrawleeJS 进行大规模网络爬取

Browsertrix Crawler High-Fidelity Web Archiving and QA Crawler

Browsertrix Crawler 是 Webrecorder 推出的基于浏览器的爬取系统，用于高保真网站捕获、QA 回放分析和可配置的爬取行为

让 cron 定时抓取安全运行

按权威时刻表组织定时抓取，控制同主机请求间隔、并发和失败处理；统计唤醒与实际执行，保留业务时刻和无关任务

EDGAR 文件抓取 (edgar-crawler)

|-

Crawlee Smart Crawler Agent

使用Crawlee框架实现智能网络爬取，支持CheerioCrawler和PlaywrightCrawler之间的自适应请求路由

Crawl4AI LLM-Friendly Web Crawler

使用 Crawl4AI 运行网页爬取和数据抓取工作流，Crawl4AI 是一个开源爬虫，旨在生成 LLM 就绪的 markdown 和结构化提取输出

Colly Golang Web Scraper and Crawler Framework

Colly 是一个用于 Go 语言的快速开源爬取和爬虫框架

Cariddi Domain Crawler and Endpoint Secret Scanner

Cariddi 是一个基于 Go 的安全工具，它接受一个域名列表，爬取其 URL，并扫描端点、密钥、API 密钥、文件扩展名、令牌和错误

江西财经大学—竞赛与科研财经爬虫助手(全国通用)

财经类大学生数据爬虫——东方财富/巨潮/雪球/统计局/MBB/艾瑞/SEC/交易所/Tushare/信用中国/海关/国际组织 十三大金融数据源统一采集，

中国统计年鉴官网-数据抓取技能

This skill should be used when downloading and structuring data from China Statistical Yearbook (中国统计年鉴) on stats

XCrawl Crawl

Use this skill for XCrawl crawl tasks, including bulk site crawling, crawler rule design, async status polling, and deli…

网页采集 结构化提取 数据管道

江西财经大学—校园脉搏聚合播报

江西财经大学（江财）官网群批量爬虫

7487__lp-lobster-crawler-0.7.0

定向抓取 Webnovel/ReelShorts 等站点的书籍/短剧内容，支持内容分级与钉钉播报