如何构建C10M并发能力的抗D云WAF系统(1)?

本文由极御云安全xSec团队撰写,未经授权禁止转载!

在过去的数十年来,从系统内核层面以及软件层面的努力优化,C10K的问题已经得到非常良好的解决,但是在网络流量爆炸式增长的现在,C10K已经远远无法满足现有的硬件能力。

就拿我们极御云安全在的抗D云WAF硬件平台来说:

CPU:2 * Intel Xeon Platinum 8180 2.50GHz 价格:100,000 RMB
内存:48 * Micron MTA36ASF4G72PZ-2G6H1R 32GB DDR4 RECC 2666MT/s 价格:13,4400 RMB
硬盘:Samsung PM953 960GB M.2 价格:1,500 RMB
网卡:4 * Intel XL710-DA2 价格:12,000 RMB
平台:Supermicro SuperServer 2049U-TR4 价格:25,000 RMB

这样一套豪华四路服务器配置,我们将测试利用内核协议栈和Tengine以及利用极御云安全自研的AccelStack TCP/IP协议栈(Userspace TCP/IP Stack for DPDK)和Tengine做一次性能对比。

主要测试CPS(Connections per second)和RPS(Requests per second)
测试之前先讲一下CPS和RPS的区别:
CPS主要是短链接场景,也就是每次传输完就关闭连接,下一次在新建连接。
RPS主要是长链接场景,建立连接后传输数据完毕后不关闭连接,下一次请求继续复用之前建立的连接。
通常,HTTP和HTTPS的CC攻击都是短链接,攻击者通常不会用长链接方式,因为短链接的CC攻击比长链接的CC攻击危害高5倍到10倍以上

环境:CentOS 7.5 64Bit
内核:Kernel 4.18.8
软件:Tengine-2.2.2 (Reuseport开启)
WAF:StopDDoS xWAF/1.1
备注:xWAF/1.1是极御云安全自研的WAF系统。
从上图的测试结果中,可以看到短链接的性能非常差,短链接性能不会随着CPU核心数量的增长出现线性增长,16核和32核的短链接性能几
乎一致,根本无法发挥出4路Platinum 8180处理器强大的性能!
这样的性能在遭受大规模CC攻击的情况下系统自身都是瓶颈,谈何为用户提供稳定可靠的DDoS防御服务?
而目前市面上98%以上的WAF产品都是上述架构,性能极低,面对突发性的CC攻击,这类基于内核协议栈的WAF产品会直接出现访问缓慢、大
部分访客无法访问,甚至直接瘫痪

下面来测试下极御云安全xSec团队自研的AccelStack TCP/IP协议栈(Userspace TCP/IP Stack for DPDK)和Tengine实现的抗D云WAF产品性能!

环境:CentOS 7.5 64Bit
内核:Kernel 4.18.8
软件:Tengine-2.2.2
WAF:StopDDoS xWAF/1.1
备注:基于DPDK框架+AccelStack TCP/IP协议栈的Tengine-2.2.2经过极御云安全xSec团队针对自身需求深度优化,修改了大量代码,
实现Kernel Bypass,
xWAF/1.1是极御云安全自研的WAF系统。
从上图中可以明显看到差距,在基于DPDK + AccelStack TCP/IP + Tengine的场景下,单个CPU核心的短链接性能可以达到4.5万每秒单个CPU的长链接性能可以达到9万每秒,在32个核心下短链接性能达到了140万每秒32个核心长链接性能达到了1280万每秒。
由于我们的抗D云WAF系统的单个服务器配备了4路Platinum 8180处理器,一共112个核心,整机可以达到600万每秒的短链接性能,4800
万每秒的长链接性能,这个性能数据足够对付90%以上的CC攻击!

额外话题:为什么CPU核心数量增加没有导致Linux内核的网络性能提升呢?

答案就是:Linux内核的spinlock的可伸缩性和性能极差,CPU核心数量越多,spinlock就越频繁,并且CPU核心数量越多,spinlock的数量也越多,最后增加CPU核心数量带来的性能用于抵消spinlock带来的性能开销,所以最后等于没有增加CPU核心。

这里总结一下Linux Kernel的性能较低的原因:

1. 任务切换

2. 内存拷贝

3. CPU跳跃

4. 锁和中断

5. Cache miss和污染

除了上面5点,还有很多原因,下一章我们也将更加细致的分析我们是如何让极御云安全的抗D云WAF系统拥有如此强大的性能。

赞(2)
未经允许不得转载:极御云安全官方博客 » 如何构建C10M并发能力的抗D云WAF系统(1)?
分享到: 更多 (0)

评论 抢沙发

马上开启您的安全之旅

立即开启