SpiderMAN

分布式爬虫管理系统

介绍

SpiderMAN 是基于Django+scrapyd+bootstrap的分布式爬虫管理系统，能实现分布式任务调度，对数据的监控等

功能

• 用户登录
• 管理服务器节点
• 管理爬虫、爬虫部署
• 查看数据统计
• 容器快速部署

用户登录

节点管理

查看所有节点服务器得状态，在节点上部署scrapy项目

节点详情

查看节点详细情况

爬虫管理

可以启动、停止爬虫、筛选爬虫

作业管理

查看爬虫的作业情况

日志查看

查看作业日志