纳米虫

分布式高性能网页爬虫

免费下载
查看演示Demo

真网络并发采集

对于有规则的列表页内容页数据,一般更新比较频繁,不能单纯的顺序采集或者在一台机器上采集。比如安居客,电影网站等。纳米虫能进行先迅速采集内容页地址,后续内容页真正的内容采集交给客户端采集,客户端越多,真正的网络并发能力越强。

多服务器低配置需求

纳米虫客户端可以部署在不同硬件配置的服务器上,需要的系统资源可以根据爬虫数设置。目前支持在Linux,window,mac和树莓派上。

自动IP代理绕过反爬机制

有些网站会有验证码或者其他反爬机制。提供IP代理库后,每个纳米虫客户端可以自动通过代理IP来进行内容采集,真正实现绕过反爬机制。

免费版

满足大部分人需求

高级版(后续发布)

后续发布 更多高级功能,客户端和爬虫数量无限制

免费版和高级版有什么区别

功能 免费版 高级版
单机采集
分布式采集
MySQL存储数据
定时采集
规则列表内容页采集
单页采集
不规则内容页采集
自动IP代理
同时最大任务数量 2 无限制
最大客户端数量 2 无限制
单客户端最大爬虫数量 5 无限制
单机采集:单机采集的电脑上也同时需要安装一个纳米虫服务端和一个纳米虫客户端。
分布式采集:分布式采集需要在一台电脑上安装纳米虫服务端,其他电脑上安装纳米虫客户端。