安全小课堂五十期分布式扫描器实现思路.pdfVIP

安全小课堂第五十期【分布式扫描器的实现思路】

安全从业人员，在平常的工作中会用到一些web扫描器对一些web系统做一些安全扫描和检测，从

而确保在系统上线前尽可能多的解决了已知的安全问题，更好地保护我们的系统免受外部的和。而传统的

web安全检测和扫描大多基于web扫描器，但在传统扫描器中由于爬虫无法获取到一些隐藏地很深的系统资源容

易导致漏报。现在流行的分布式web扫描器或许能web扫描器的这一缺点弥补，JSRC安全小课堂第五十期，我们

邀请到了歌、安全小飞侠师傅一下他们在分布式扫描器中的实现思路及方法。以及JSRC子花开，沦

沦，feng、胖猴粉、1ce、ziwen、虾米的讨论。

讲师：歌讲师简介：唯品会高级工程师，多年的安全测试、安全开发经验,擅长于代码审计和分析,

目前关注于检测及企业级安全建设，shadow7团队成员。

讲师：安全小飞侠讲师简介：安全研究员，代码狂热分子，子,专注安全开发与渗透测试。

分布式扫描器能实现对什么类型的进行检测？

京安小妹分布式扫描器适用于常见的扫描，其对类型没有要求,只要是通过发送数据包来验证是否存在

的都可以，分布式只是将原来的一台机器扫描改成了多台同时扫描而已。

扫描器能扫什么，它就能扫描什么，分布式不过是一种扫描的处理模式而已。以web扫描器为例，基本上来说凡是

具有请求应答的都可以检测，所谓的请求应答就是说对于发送的请求会有直接或者间接response，比如XSS，

sql注入，文件包含，代码/命令执行等等。

讲师：歌、安全小飞侠实现一个分布式扫描器的思路是什么样的?京安小妹首先需要有爬虫程序，如果没有爬虫

也可以使用流量镜像或方式获取扫描存入数据库，然后要有一个可以用的扫描程序,将这个扫描程序

讲师：歌、安全小飞侠分布式扫描器必备模块有哪些？哪一个模块是最重要的？

京安小妹数据库、任务和资源调度系统、请求收集模块（如爬虫和），扫描引擎以及web管理控

制端。其央任务和资源调度系统最为重要，因为这是负责控制各个子模块的中枢系统，就像人的大脑一样。

必备的模块我觉得应该要有：爬虫模块，数据解析模块，数据模块，扫描模块，任务调度模块，这些模块

都挺重要的，每个模块都有其用途，相互结合才能完成好整个扫描过程。

讲师：歌、安全小飞侠子提问:不知道架构是什么样的?爬虫模块可以是py的requests，phantomjs，

burpscanner；

模块可以是burp，mitm；

数据模块可以是mysql，mangodb，sqlite都可以；

web管理模块可以是py的flask等等。

讲师：歌、安全小飞侠子提问:能否推荐几个分布式扫描器?我个人写了一个成品的叫scanner

讲师：歌、安全小飞侠在实现分布式扫描器的过程中遇到过什么问题？如何解决的?

京安小妹我个人觉得最复杂也是最棘手的问题应该就是任务和资源调度系统的设计，如何让各个子扫描系统彼

此分离且不重复扫描，如何合理的分配扫描任务给多个字扫描系统。这里我的解决方法是，设置一个主队列存放所

有搜集到的请求，然后让各个子扫描系统各自设置自己的从队列来接收来自主队列的扫描请求和任务，同时让字扫

描节点定期回传自己的队列状态至任务和资源调度系统，在由其判断存在哪些空闲的扫描节点并分配的扫

描任务。

比方说爬虫获取的连接过少问题，这个模块可能影的检测率，前期可以多部署几个爬虫来扫描，也可以和

其他的爬虫进行对比，然后进行逐步改进。

讲师：歌、安全小飞侠子提问:怎么解决点击交互产生的请求？

交互产生的请求可以模拟有哪些信誉好的足球投注网站页面中的click，button之类的使用类似于phantomjs之类的