资产目录

SKILL

gpt-crawler

Crawl a site to generate knowledge files to create your own custom GPT from a URL

原作者：BuilderIO 来源：GitHub 许可：ISC 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 9831bfcd

SKILL

pyspider

A Powerful Spider(Web Crawler) System in Python

原作者：binux 来源：GitHub 许可：Apache-2.0 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 2438472a

SKILL

Photon

Incredibly fast crawler designed for OSINT

原作者：s0md3v 来源：GitHub 许可：GPL-3.0-only 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash b3b93cfd

SKILL

crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks

原作者：crawlab-team 来源：GitHub 许可：BSD-3-Clause 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 02c66dd4

SKILL

webmagic

A scalable web crawler framework for Java

原作者：code4craft 来源：GitHub 许可：Apache-2.0 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash a00fe597

SKILL

spider-flow

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫

原作者：ssssssss-team 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 6fc2544b

SKILL

Python

Python脚本

原作者：injetlee 来源：GitHub 许可：未标注 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 5c9210f8

SKILL

avbook

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links -…

原作者：guyueyingmu 来源：GitHub 许可：未标注 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 44bc6ca9

SKILL

awesome-web-scraping

List of libraries, tools and APIs for web scraping and data processing

原作者：lorien 来源：GitHub 许可：未标注 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 32b21287

SKILL

autoscraper

A Smart, Automatic, Fast and Lightweight Web Scraper for Python

原作者：alirezamika 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash cba98365

SKILL

pholcus

Pholcus is a distributed high-concurrency crawler software written in pure golang

原作者：andeya 来源：GitHub 许可：Apache-2.0 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 6a2a73aa

SKILL

JMComic-Crawler-Python

Python API for JMComic | 提供Python API访问禁漫天堂，同时支持网页端和移动端 | 禁漫天堂GitHub Actions下载器🚀

原作者：hect0x7 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v2 · 2026-09-28 hash ea1716c8

SKILL

awesome-crawler

A collection of awesome web crawler,spider in different languages

原作者：BruceDone 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 4ab8c21a

SKILL

trafilatura

Python & Command-line tool to gather text and metadata on the Web: Crawling, scraping, extraction, output as CSV, JSON, …

原作者：adbar 来源：GitHub 许可：Apache-2.0 含内容副本 · 可下载 存档：v2 · 2026-11-04 hash d80b365f

SKILL

node-crawler

Web Crawler/Spider for NodeJS + server-side jQuery ;-)

原作者：bda-research 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 09ca8fef

SKILL

WechatSogou

基于搜狗微信搜索的微信公众号爬虫接口

原作者：chyroc 来源：GitHub 许可：Apache-2.0 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 1ba3f4cc

SKILL

ECommerceCrawlers

实战🐍多种网站、电商数据爬虫🕷

原作者：DropsDevopsOrg 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 7b32cb10

SKILL

scrapy-redis

Redis-based components for Scrapy

原作者：rmax 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v2 · 2026-10-26 hash 2aaaa11a

SKILL

headless-chrome-crawler

Distributed crawler powered by Headless Chrome

原作者：yujiosaka 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash d4affffe

SKILL

haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis

原作者：SpiderClub 来源：GitHub 许可：MIT 含内容副本 · 可下载 存档：v1 · 2026-09-27 hash 26cd9b34