ZMap 为什么能在一个小时内就扫描整个互联网?


全球互联网包含数十亿个不重复地址,扫描整个互联网是一项劳动密集型工作,需要耗费几周甚至几个月。现在,密歇根大学研究人员发布了一个工具ZMap,用一台普通的服务器耗时44分钟就能扫描全部互联网地址。扫描工具如Nmap使用的方法是发送请求然后监听回应,虽然请求可以同步进行,但为了记录每一个未回应请求需要大量开销,导致速度下降。而ZMap使用了不同的方法,它发生的是无状态请求,发送之后就忽略了,它不需要记录未回应请求的名单,而是在发送的数据包中编码身份信息去识别回应,从而降低开销。ZMap发送数据包的速度是Nmap的上千倍。Nmap需要数周时间扫描全部网址,而ZMap只要几十分钟。密歇根研究人员利用ZMap发现,100万最流行网站内HTTPS使用率一年内增加了23%。

传统上的TCP/IP需要“三次握手”报文交互,在此期间需要维持记录着与对方交互的状态。

这种状态记录量是巨大的,占用内存和CPU资源很大。

而ZMap索性就不进行三次握手,只进行第一个SYN,然后等待对方回复SYN-ACK,之后即RST取消连接。这样肯定会因网络原因丢失一定比例的数据,根据其实验,这个比例在2%左右。

以上策略,在nmap中也有实现,即其TCP SYN扫描方式。

关键性的问题出现在对回复的SYN-ACK进行seq number的校验。传统上就需要记录状态。

而ZMap是将对方receiver ip地址进行hash,将其处理保存到了sender port和seq number两个字段中,当SYN-ACK回来的时候,就可以根据sender ip、receiver port、ack number这些字段进行校验。

因此避免了状态存储,接近了网络带宽极限。

性能方面:

单台服务器,扫描整个IPv4地址空间,耗时45分钟,将所接1Gb的带宽占用了97%。

不仅速度上比Nmap(TCP SYN模式)高不少,而且其设计的无状态机制,让其搜索成功的覆盖率也增加了。

与Nmap等已有系统对比:

NMap是一个通用网络监测工具,可以适用于不同协议、不同范围的测试。

而ZMap专做单端口、大范围的网络监测。

这也让ZMap能在这单一领域做很多优化。

相关内容