Spider

一款高性能的 Rust 网络爬虫和抓取工具。比流行的同类工具快 200-1000 倍，并在单个库中集成了 HTTP、无头 Chrome 和 WebDriver 渲染功能。

单机分钟级抓取 10 万+ 页面。查看基准测试。
单一依赖库即可实现 HTTP、Chrome CDP、WebDriver 和 AI 自动化。
生产级就绪，具备缓存、代理轮转、反爬虫绕过及分布式抓取功能。特性开关（Feature-gated）设计，确保只编译你所使用的功能。

快速入门

命令行工具

cargo install spider_cli
spider --url https://example.com

Rust 集成

[dependencies]
spider = "2"

use spider::tokio;
use spider::website::Website;

#[tokio::main]
async fn main() {
    let mut website = Website::new("https://example.com");
    website.crawl().await;
    println!("Pages found: {}", website.get_links().len());
}

流式处理

在页面被抓取的瞬间立即进行处理，而非等待全部完成后处理：

use spider::tokio;
use spider::website::Website;

#[tokio::main]
async fn main() {
    let mut website = Website::new("https://example.com");
    let mut rx = website.subscribe(0).unwrap();

    tokio::spawn(async move {
        while let Ok(page) = rx.recv().await {
            println!("- {}", page.get_url());
        }
    });

    website.crawl().await;
    website.unsubscribe();
}

无头 Chrome

添加一个特性开关（feature flag）即可渲染重度依赖 JavaScript 的页面：

[dependencies]
spider = { version = "2", features = ["chrome"] }

use spider::features::chrome_common::RequestInterceptConfiguration;
use spider::website::Website;

#[tokio::main]
async fn main() {
    let mut website = Website::new("https://example.com")
        .with_chrome_intercept(RequestInterceptConfiguration::new(true))
        .with_stealth(true)
        .build()
        .unwrap();

    website.crawl().await;
}

同时也支持 WebDriver（Selenium Grid、远程浏览器）和 AI 驱动的自动化。更多信息请参考示例。

基准测试

抓取 185 个页面（来源，取 10 次采样平均值）：

Apple M1 Max (10 核, 64 GB 内存):

爬虫	语言	时间	相比 Spider
spider	Rust	73 ms	基准
node-crawler	JavaScript	15 s	慢 205 倍
colly	Go	32 s	慢 438 倍
wget	C	70 s	慢 959 倍

Linux (2 核, 7 GB 内存):

爬虫	语言	时间	相比 Spider
spider	Rust	50 ms	基准
node-crawler	JavaScript	3.4 s	慢 68 倍
colly	Go	30 s	慢 600 倍
wget	C	60 s	慢 1200 倍

随着站点规模扩大，差距会进一步拉大。当其他爬虫需要数小时工作时，Spider 可以在几分钟内处理 10 万+ 页面。这归功于 Rust 的异步运行时（tokio）、无锁数据结构以及 Linux 上可选的 io_uring 支持。详细说明

为什么选择 Spider？

大多数爬虫迫使用户在“快速但仅限 HTTP”和“灵活但缓慢的浏览器自动化”之间做选择。Spider 两者兼顾，且支持在同一次抓取任务中混合使用。

支持 HTTP、Chrome 和 WebDriver。 通过特性开关切换渲染模式。使用 HTTP 获取速度，使用 Chrome CDP 处理重度 JS 页面，使用 WebDriver 进行 Selenium Grid 或跨浏览器测试。

专为生产环境构建。 支持缓存（内存、磁盘、混合模式）、代理轮转、反爬虫指纹处理、广告拦截、抓取深度限制、Cron 定时任务以及分布式工作节点。所有这些功能均已通过 Spider Cloud 进行生产环境验证。

内置 AI 自动化。 spider_agent 增加了多模态 LLM 驱动的自动化能力：导航页面、填写表单、解决挑战并使用 OpenAI 或任何兼容 API 提取结构化数据。

特性

抓取功能：

支持背压（backpressure）的并发和流式抓取
用于水平扩展的分布式抓取
缓存：支持内存、磁盘（SQLite）或[混合模式]

spider-rs/spider