背景

记录网卡多队列及中断均衡相关的笔记，供参考。

概念

网卡多队列需要硬件和驱动同时支持，通常新服务器上的网卡都是支持的。

网卡多队列，即每个CPU一个网卡队列，每个队列对应一个独立的中断。

每个网卡队列对应的中断默认并没有跟相应的cpu做绑定，也就是说默认情况下这些中断都是没有绑定的，那么按内核默认的处理策略，在没有开启irqblance的情况下，对于没有绑定的中断，默认都会在cpu0上运行。这样会导致CPU占用不均衡。

所以，如果需要使用网卡多队列，需要手工进行中断绑定(通常使用proc接口)，或开启irqbalance服务（会根据CPU负载情况自动均衡irq到各个CPU上，但也不能保证绝对均衡，不能保证每个网卡中断都对应到一个CPU上，可能多个网卡中断绑在同一个CPU上）。

通常，支持多队列网卡的驱动中，都会做中断绑定，通常策略是一个队列(中断)对应一个CPU核。

网卡多队列上的中断均衡是个比较难解决的问题。以Intel 82599万兆网卡为例，当网卡硬件收到一个网络包时，如何决定将这个包派发到哪个CPU去处理，也就是说如何决定触发哪个CPU的中断？

这个是有网卡固件决定的，Intel的网卡通常是按一定的hash算法进行分发，hash依据的键值通常为网络连接的四元组(两端的IP和端口)，也就是说：网卡倾向于将同一个网络连接上的数据派发到同一个CPU上去处理，考虑到cache命中率、数据一致性相关的因素，这个当然是合理的。

但是，这种情况下，当各个网络连接上的数据流量不均衡时，各个CPU上的中断和CPU占用率就很难均衡了。极端情况下，当数据主要集中在一个网络连接上时，此时只会有一个CPU处理中断，CPU占用率就会严重不均衡。

当然，通常情况下，服务器上的网络连接应该是趋向于平均分布的，也就是说，大部分场景下，当前的处理策略没有问题。

针对上述的数据流量不均衡导致的中断不均衡问题，是否可以解决？

答案是：目前未见好的解决方案

开源现有可能的解决方案有：

irqbalance看起来就是用来解决中断不均衡问题的，但是却解决不了这里的问题。

因为，irqbalance进行均衡的粒度为不同的中断，当系统中有很多不同类型的中断，基本有用，但在上述的情况下，只有一个中断(或者少量中断)，此时irqbalance无能为力。

irqbalance的基本原理很简单：就是周期计算各个CPU上的中断数量，发现不均衡时，动态通过/proc接口设置指定中断的CPU亲和性，进行绑定。当只有一个中断时，无论将这个中断绑定到哪个CPU，都会不均衡。

内核中提供了RFS&RPS方案，基本原理是：将各个CPU上的网络软中断平均分配到各个CPU上进行处理，可以解决：硬中断不均衡情况下，通过使软中断均衡，达到CPU占用均衡的目的。

看起来可以解决上述问题，但实际上还是不行，因为其进行软中断均衡的策略还是基于网络连接的，所以，针对网络连接本身不均衡的情况，还是无法解决。

现有的技术看似都无法很好的解决问题。

理论上，可能的解决方案考虑有：

如之前所说，中断的分发是由网卡固件决定的，所以，如果能从固件层面均衡中断，应为根本解决方法。但是需要考虑性能、cache、数据一致性等问题，解决的难度会非常大。

基于RFS&RPS的思路，将网络包的处理(软中断、下半部)均衡到各个CPU上处理。但是还是需要处理数据一致性的问题，还有考虑性能，难度也很大。