骨干网流量采集、汇聚与分流关键技术

1
应用背景骨干网流量采集主要应用于政府网络管理、运行商广告推送、运行商计费取证服务、运行商信令监控服务、园区网审计、公安网监、大数据分析等应用领域。
我们在骨干网流量采集领域，经常会遇到采集、负载均衡、分流、汇聚等各种术语，这些术语之间是什么关系呢？
所谓流量采集，就是将网络流量通过物理层、数据链路层的信号解析和解帧，实现IP原始报文的获取。由于以通用CPU为核心的传统分析平台的处理能力总是有限的，所以一定方式的过滤（或称为流量衰减），不仅可以降低后端服务器的负载，而且可以降低整个系统的功耗和成本。另外，要实现流量采集，必须实现链路层的转换，如对POS、WAN进行转换，或者高速率链路如40G POS到10GE的转换，100GE到10GE的转换。采集之后的输出有通过以太网报文输出（如PET320采集设备）或者PCI总线直接到服务器内存（如智能网卡PCAP2）两种。

[attach]314801[/attach]

2
用户需求（1）
如何实现高密度，低功耗的采集设备：在选择厂家时要特别注意其设备的密度，交换容量、输入接口密度，输出接口密度，输入输出是否能够复用等。通常情况下，高密度的设备其单位流量的平均功耗要小，而非ATCA独立设备比ATCA设备功耗要小。
（2）
如何降低用户成本：输入输出接口复用是降低成本的有效方式，如一个万兆接口，如果其输入接口可以为WAN，而输出接口可以是10GE，则可以有效降低用户的成本。用户接口是否可以更换，平台是否能够平滑升级也是要考虑的问题。另外，非ATCA独立设备一般比ATCA设备价格更便宜。
（3）
如何支持不同的链路：使用统一的过滤、分流、输出平台，但是输入接口能够更换是性价比较高的多链路解决方法。在一个平台上能够同时支持100G以太网、40G POS、10G POS、10G WAN和10G LAN是一种比较好的选择，但是由于过滤功能需要按照最大性能设计，在某些场合可能会增加用户的成本。因此，在接口支持能力和代价之间要进行综合考虑。
（4）
分流均衡性：Hash算法的选择是分流均衡性的关键，例如，CRC32比CRC16的均衡性要好，而CRC16又比异或的均衡性要好。好的均衡性依赖于采集设备的智能，当存在巨流时，要能够自动将同一个MAC上新产生的流量调整到其他的服务器。另外，当后端分析服务器出现故障时，要能够自动切换。
3
关键技术3.1
100G成帧关键技术

[attach]314801[/attach]

MLD（Multi-LaneDistribution）模块将数据分发到20个虚拟的Lane上。实现了CGMII（100G介质介质独立接口）。当前没有一种媒体（光纤或电信号）能够单流直接传输100Gb/s以太网信号，2010年IEEE802.3ba标准正式发布，在光传输接口上针对不同传输距离定义了100GBASE-SR10、100GBASE-LR4和100GBASE-ER4三种接口规范。100GBASE-SR10采用10对OM3 MMF/OM4 MMF光纤，每路光纤传输速率为10Gb/s，传输距离分别是100m/150m，100GBASE-LR4和100GBASE-ER4都采用SMF，采用LAN WDM技术用4个不同波长的光来传输，每个波长传输25Gb/s数据，传输距离分别是10km和40km。
同样的电气接口也采用并行Lane来传输数据，IEEE802.3ba标准定义的CAUI接口，使用10 Lane电气接口，每个Lane传输10Gb/s数据。为了有效利用10 Lane来传输100GE数据必须解决多通道的数据封装映射、对齐等问题，这是本成果中解决的关键技术，IEEE802.3ba标准中这个功能是在PCS中实现的。
戎腾网络的解决方案是：光接口采用的是商用的100GE CFP或者CFP2光模块，实现100GE光信号到CAUI电接口的转换，通过使用不同光模块可以支持100GBASE-SR10、100GBASE-LR4和100GBASE-ER4等应用场合，光模块输出的是10路10Gbps的数据，再进行后续的处理。
3.2
软过滤技术流量过滤本质上是一种报文分类技术，虽然本文仅阐述骨干网流量采集的关键技术，实际上，报文分类是防火墙、QoS、区分服务（DiffServ）、入侵检测系统、网络取证系统的基础，虽然有EGT-PC、RFC、Efficuts等较为经典的软件算法，目前应用普遍的仍然是基于硬件搜索引擎TCAM（TernaryContent Addressing Memory）的方式，主要原因是高速骨干网络对报文分类性能的要求非常高，已有的软件算法或者规则增加的可扩展性不好，或者进行规则更新的灵活性不强。通常，评估一种报文分类方法是否可行，有下面一些指标：
n
性能：随着规则的不断增加，是否能够快速地进行报文分类，能够在不同的链路登记上达到线速分类的速率要求；
n
存储空间要求：随着规则数量的增加，对存储空间的要求应该比较平稳地增长；
n
灵活性：能够快速进行规则更新，规则的更新通常应该能够捕获到下一个背靠背报文；
n
经济性：能够使用较低的成本实现该算法，例如不需要复杂的体系结构，不需要额外增加元器件等；
n
适用性：对于增加额外的过滤域的可扩展性。
比较已有的方法和算法，目前尚无一种相对完备的解决方案，如表1所示。

表1 报文分类方法（算法）对比

方法或算法	性能	存储空间要求	灵活性	经济性	适用性
TCAM	√	√	√
RFC	√			√	√
EGT-PC	√	√		√
Efficuts		√	√	√	√

在大规模流量采集体系结构中，由于计算结点的处理能力不可能覆盖所有的流量，对于已通过其他手段证实其合法的流量，可以直接过滤而不需送到计算单元中进行大规模的还原、存储与数据挖掘，因此高性能、存储空间要求不高、灵活性、经济性和适用性好的方法是其必然要求。
在整个数据处理流程中，报文提取可以通过POS和10G以太网的报文获取，流管理由于涉及复杂的超时、存储空间申请、链表查找等操作，一般不适合于硬件处理。而多元组匹配传统上使用TCAM实现，特征匹配使用专用加速搜索引擎。

[attach]314799[/attach]

图1 数据采集流程

考虑TCAM的经济性、适用性，采购周期等综合因素，戎腾网络创造性的提出了一种基于FPGA的CMT（Common Mask Tree）算法，算法在研制的PET平台上，实现了320G的性能。
其基本方法为将规则集中的每一条规则转换为相应的多维前缀，并利用这些前缀的公共掩码将传统前缀匹配问题转化为多级精确匹配问题，后者可用哈希表达到O(1)的查找速率。同时利用原子操作实现了一套FPGA环境下的快速规则更新算法。
3.3
软硬协同的3G/LTE监控技术3G和LTE的广泛部署，为移动终端的普及提供了基础。截止2014年6月，中国网民规模达到6.32亿，其中使用手机上网的用户比例达到83.4%，已经超过使用PC上网的用户比例（80.9%）。
移动网络的发展也产生了新的网络安全问题，利用移动通信互联网逃避监管的网络行为也在不断增加。犯罪人员利用互联网的高科技性和虚拟性，使其犯罪行为时常无法对其进行惩罚或是有效的预防。主要的安全挑战包括：
（1）用户从传统固网迁移到移动网络后，对网络攻击行为和网络犯罪如何快速反应、定位和溯源；
（2）新业务管控难度大：微博、社交网站等新业务具有两面性，安全管控的难度大；
（3）如何通过数据挖掘，提取有价值的情报和攻击信息。
面对错综复杂的移动网络业务和多样的终端类型，原有的网络安全管控手段已显得力不从心。如果缺乏针对3G/LTE网络的细粒度安全管控措施，相关监管机构将难以掌控不同客户及终端的网络行为；更为严重的是，传统互联网中一些不良信息，如非法宣传、网络病毒、网络攻击、垃圾邮件等，借助LTE网络这一平台可能在更大范围内传播泛滥，对网络安全和可信造成严重威胁。

[attach]314798[/attach]

（2）由于在某些制式中，一个以太网帧中可能封装上百个终端分片，这些分片是以特殊字符分割的。因此，必须进行全包扫描以定位终端分片，而留给每个报文的处理时间并不长。在当前核心网普遍采用10G以太网链路的情况下，每个报文的处理时间只有37ns。要在37ns的时间内进行全包扫描，并定位每个终端的报文分片，必须采用非常规的手段。单就整个处理流程的中全包扫描一个环节，目前实际上尚没有能够扫到20Gbps的商用扫描技术。
（3）必须将登录认证信息与IP地址关联：网络取证的最终目的是定位有非法网络行为的用户，由于目前在移动网络中普遍采用动态IP地址分配技术，单纯定位违法IP已经无法解决真正的溯源问题，必须将IMSI号与用户报文关联，使得一旦非常行为被发现，即可通过IMSI号找到现实世界的真实用户。
为解决无线移动网络数据取证面临的挑战，并充分考虑移动网络的特点，戎腾网络设计实现了软硬结合的3G/LTE系统结构。通过普通固网线卡收集流量，识别3G/LTE报文，并定位终端分片的位置；然后分流到综合业务处理卡（CDP1000），并在CDP1000上采用定制硬件完成流量聚合和报文提取，通过多核NPU完成三层分片重组、VJ解压缩；完整的的报文获取后，实现高速流管理和内容搜索。
4
小结网络技术的发展日新月益，当前三网融合已经成为大的趋势，3G已经铺开应用，LTE已经试点运行，由于光进铜退带动了PON技术的迅猛发展及广泛应用，这些都是传统取证平台不具备的功能，留下了监管和信令分析的空白，必须适时研制新的设备，帮助运营商优化网络，并使互联网社会与现实社会一样处于良序运行状态中。
而在传统的固网领域，全国10G POS等骨干链路已经达到上万条，必须采用通过新的技术创新降低原有取证系统的成本。
同时，由于大数据时代的来临，广告商开始日益关注网络广告、ISP服务商不仅关注网络运营情况（ISP流量分析领域），也需要给用户一个计费的清晰列表（ISP计费取证领域），这些应用造就了一个新的行业，或者说一种新的设备提供商——智能流量探针。
戎腾网络结合自身十余年在此领域的深耕，突破了系列关键技术，实现了高性能、高性价比、功能丰富的互联网骨干链路采集、汇聚与分流设备。