4G系统中高速总线互连架构的研究分析

1、引言

从1897年马可尼在一个固定站与一艘拖船之间完成的无线通信试验开始，无线通信技术得到了迅猛的发展。目前通信行业的热点是第三代移动通信技术（3G）具有较高的无线频率利用效率，能提供快捷、方便的无线应用，实现高速数据传输和宽带多媒体服务（传输速度最低为384k，最高为2M）。虽然 3G系统可以比旧有的2G系统传输速率快上很多倍，但是仍无法满足未来多媒体的通信需求。未来通信市场的主流服务需要为客户提供方便快捷的全球咨询信息的获取能力，因此未来通信服务必须具有宽带性（Broadband）、全球性（Globalization）、即时性（Immediacy）与移动性（Mobility）。要达到这个目标，必须将宽带互联网和宽带无限通信网络相结合，然而要实现无线通信网络和宽带核心骨干网的融合，包括3G在内的当前所使用的移动通信网络都力不从心，发展4G无线通信技术以支援无线互联网接入服务已刻不容缓。目前国际上尚未制定统一的4G通信标准，因此各发达国家均希望在未来4G标准制定上取得一席之地，欧美日等国很早就投入巨资开始研究，我国也在2002年启动了4G的研发工作，基本上与国际同步。

据预测，4G系统中将会采用大量新一代先进的通信技术，如OFDM、SDR、MIMO和智能天线、空时编码等，所提供的峰值速率可达到 100Mb/s，以满足未来对实时多媒体服务高带宽的业务需求。但是，随着这一系列最新技术的广泛应用，新一代系统整体的算法复杂度和传输性能较上一代系统有一个数量级的增加，如何为系统中诸多的处理、控制单元提供一种高效、高带宽、灵活的互连架构，成为4G无线通信系统设计中极具挑战性的难题。

2、4G系统平台架构的搭建所面临的问题

（1）数字基带处理算法复杂度的增大

4G移动通信系统中引入了MIMO无线通信技术。即在分布式接入方式下，传输信号由多个天线同时发送和接收，发送端和接收端之间的无线信道由传统的单输入单输出（SISO）系统转变成（MIMO）系统。MIMO信道可看作一组并行的子信道，其总的信道容量为各独立子信道的信道容量之和，理论上，随着天线个数的增加，信道容量显著增大，为提高无线网络的信息吞吐量、扩大覆盖区域和提高传输质量提供了巨大的潜力。但多天线环境下MIMO无线通信系统的带来的问题是基带信号处理的复杂度成几何级数增长。按现有的可编程逻辑器件逻辑规模，很难在单片或单板的条件下实现所有的基带逻辑算法，必然要求基站有复杂的平台互连结构。

（2）巨量数据传输的实时性要求

4G系统中物理层基带处理要求处理节点间数据的传输有较高的实时性。如果采用传统的共享型总线（如：PCI，CompactPCI等），随着基带处理节点数的增多，节点间交互数据量急剧增大，必然对设备间传输实时性能造成影响。所以采用传统的共享型架构的系统内连总线很难达到上述要求。因此需要设计新型的平台架构，以确保在有好的扩充性的前提下，实现连接在总线上的设备间进行数据传输时有小的总线潜伏期。

（3）高扩展性和灵活性的要求

目前国际上4G系统的标准尚未确定，采用的基带处理算法和链路层协议还在不断的验证和完善之中。所以4G系统平台内连总线应该具有高的可扩展性，使现在和今后不同的实现方案可以在对硬件平台改动极小的情况下得以实现。从而不必再担心由于改动部分实现方案技术而使系统的性能受到影响或降低原有系统平台的可用度。

同时，设计无线接入MIMO系统出于设计灵活性的考虑要求整个系统的各个部分都尽可能实现参数化，并可以进行参数的自适应调整和重新配置。平台设计中总线的可重配置技术特征是实现这一构想的有力支持。可重配置技术具有充分参数化、完全的可编程性、模块化设计、同时支持多种业务的特点，完全适应不同连接类型对互连平台的性能要求。

3、4G系统高速互连架构的需求分析

目前，4G标准尚未制定，国际电信联盟ITU也不能确定4G是什么东西，也就是说，4G只是开发者的一种设计概念和开发方向罢了。因此，ITU -R建议采用"IMT-2000的增强系统（Enhancement of IMT-2000）"或"后IMT-2000系统（Systems Beyond IMT-2000）"的说法，其中核心研究部分就是Beyond 3G，也即超三代移动通信系统。我国在2002年启动了十五863计划"Beyond 3G蜂窝移动通信无线网络试验系统研究开发"，目前为止已经进展到了第二期，基站和移动站的研究均已进入实现阶段。本文将以此项目为例，对新一代的B3G TDD系统的平台架构的设计进行介绍。因此在下面介绍4G系统的高速总线互连架构时，均以术语B3G来代替4G。

3.1　B3G TDD系统的基带处理系统架构框图简介

在B3G TDD系统中 ，基站端和移动站端有很多单元的设计方法相同，只是基站端的设计更为复杂，规模更为庞大，限于篇幅，本文将选取更有代表性的基站端收发系统的硬件架构进行分析。图1为B3G TDD基站端基带处理系统硬件总体架构[2]。

图1　基站端基带处理系统硬件总体架构

B3G TDD系统的基站由3个多天线发送模块、1个基带发送模块、3个多天线接收模块、1个交换时频序列处理模块、3个基带接收模块、以及1个MAC接口处理模块等构成，它们通过高速背板相互连接。基带发送模块完成编码、调制、空时发送处理、以及导频插入等，产生的基带发送信号送到多天线发送模块，进行多载波信号合成以及数模转换，产生多天线模拟基带发送信号，送到模拟前端。多天线接收模块，接收来自模拟前端的多天线模拟基带接收信号，进行模数转换、多载波分解以及载波和时间同步，产生同步的接收基带信号，经多天线阵接收处理模块合并后送到基带接收模块，基带接收模块完成信道估计、空时联合检测、解调与解码等，重建发送的信息序列。MAC接口处理模块完成系统的业务控制与质量管理，并通过千兆以太网接口与终端计算机和控制域交互信息。

3.2　B3G TDD系统平台架构的需求分析

（1）数据传输带宽需求

从技术要求上讲，B3G TDD试验网理论上的最高数据传输速率需要达到100Mb/s（此处讲理论，是因为实际的实现还会遇到很多问题），而在系统内部模块之间的数据（因为传输的数据还要进行信道编码，如卷积和扩频）肯定要远远超过100Mb/s，而基带发送板、基带接收板与多天线阵列之间的传输速率更高，在进行系统设计时需要为其预留较多的带宽。根据设计，B3G TDD试验系统各功能单板间每条接口链路的数据传输能力需要达到2Gb/s，以满足系统各模块间信息的交互及数据传输。在传统通信系统设备中常用的 CompactPCI架构，因为采用并行总线方式，总传输带宽最多1Gb/s，而且是各单元共享此带宽，远远不能满足B3G系统的带宽需求。

（2）模块联结方式

B3G-TDD系统分为很多功能较为独立的模块，各模块间再通过高速串行接口完成模块间的数据传输互联，互联通道较多，模块之间的连接如果过于复杂，不但影响开发的效率，而且还会在进行系统连调时造成很多不可预知的问题。因此B3G TDD系统需要一种配置灵活且便于扩展的总线架构，使各模块之间的互连需要有稳定的高速数据传输功能的同时，还需要接口比较易于实现和连调。

（3）系统耦合度

根据系统的总体框架设计和模块分配，需要系统各模块功能比较独立，特别是研发各小组所负责模块之间的连结接口既要完成数据传输，又要易于实现与连调。

（4）可扩展性

B3G TDD实验系统尚处于研发中，整体的架构上未能完全定稿，系统的处理能力还能得到很大的扩展，因此采用的平台架构需要模块化和可扩展性强。

（5）时钟系统

对于B3G TDD实验系统来说，系统的同步是非常重要的，因此所设计的架构需要有很强的时钟同步功能。

4、解决方案

鉴于B3G TDD系统需要一套支持高数据吞吐率，高兼容性（兼容各种协议）并具备高可靠性、可扩展性和智能性的模块化通用硬件平台资源，目前通用的并行总线架构的CPCI结构已经不能满足系统的需求，因此，本系统选用先进电信计算机架构（ATCA）[3]-[6]作为系统硬件平台的物理承载，并采用高速的串行接口来完成各模块间巨量的数据传输；由于国际上尚未制定具体的4G标准，因此也不可能有B3G TDD系统专用的基带处理芯片，只能采用高性能的FPGA芯片完成很多复杂的数据处理和算法实现的功能，因此，选用内嵌有千兆位串行收发器核的FPGA芯片有利于试验系统中数据处理部分与模块间高速数据传输接口部分的无缝结合，而各模块均采用相同的高速串行接口，如RocketlO[7]，能简化系统各单元之间的互连协议，显著地提高系统的开发效率。具体的解决方案：系统框架结构和连接背板采用先进的电信计算机架构体系（ATCA），对ATCA架构交换接口的全网格拓扑结构进行改进以满足B3G TDD系统的需求；引入高速串行接口RocketlO（单路支持传输速率高达3.125Gb/s）作为ATCA的交换接口，来完成系统各模块间高速数据传输的互连工作，通过将两种先进的技术相结合来搭建一种高性能的B3G TDD系统硬件平台架构。

4.1　ATCA架构的拓扑设计与配置

图1介绍了B3G TDD基站端基带处理系统硬件总体架构。在基站端涉及到很多系统模块的互连问题，本小节在此主要讨论各模块之间的互连的拓扑结构，各模块单板上的硬件设计等就不做详细的叙述。ATCA架构交换接口的拓扑结构从主要分为两种：星型结构和全网格结构，结构图如图2所示：

图2　交换接口互联拓扑

鉴于B3G TDD实验系统中各模块之间数据传输速率比较高，如果采用星型结构，那么两端节点之间的传输速率将要求太高，同时各模块之间如果全部通过节点连接，将不可避免的影响系统的整体性能，而且此类结构也不适合B3G TDD硬件平台的系统架构。此外，B3G TDD系统各模块之间基本上都需要有高速接口互连，而不是都与一个总的模块互连，因此，本系统采用的是全网格的拓扑架构，保证每两个模块之间都至少有四个高速互连通道。

虽然采用网格拓扑结构，但是各单板插槽之间的互连并不是对称的，一般还是将与临近模块互联通道多的模块单板放在ATCA架构的逻辑槽1、2的位置。

具体如下：将基站端所需要高速串行接口连接最多的模块交换/时频时序板和基带发送板分别置于逻辑交换槽1、2位置，他们与多天线接受阵列、多天线发送阵列、基带接收板、MAC处理/接口板之间利用Fabric InterFace高速互连。各单元之间的互连采用RocketlO接口，每个MGT（RocketlO）均工作于2Gb/s，参考时钟为100MHz。
 
　　4.2　高速串行接口的配置

本系统在ATCA标准构架上选用了RocketlO串行接口来实现其个模块间的高速实时的数据互连，而没有采用ATCA标准中所定义的几种新一代串行互连标准，如InfiniBand、RapidlO Serial、XAUI、Fibre Channel，主要是与B3G TDD实验系统的整体架构以及系统对于高速数据互连需求有关，原因在第四小节开始有描述。

通常B3G TDD系统各模块之间传输速率预留2Gb/s即可，但是有一些传输数据量大的模块之间，可以配置更高的传输带宽，如AP端的多天线接收模块、基带接收模块以及交换时频序列模块之间的数据传输速率比较高，本系统为其预留带宽为8Gb/s；AP端基带发送模块与多天线发送模块之间的预留4Gb/s的传输带宽； MT端的几个基带接收模块间的数据传输速率预留6Gb/s的传输带宽。

4.3　本解决方案的优点

（1）ATCA架构的交换背板单板到单板间能提供最高达到20Gbps的双向传输能力，并可以采用多种标准的协议传输，如 Infiniband、XAUI等，还能支持自定义的传输协议，传输方式灵活；采用内嵌有千兆位串行收发器和高性能处理核的FPGA，既能利用其先进的互联技术、高密度的逻辑门、块RAM以及内置时钟模块来满足系统大量的数据运算没，同时利用其无缝集成的高性能的串行通信接口和RISC核来实现系统所需要的高速数据传输接口，极大地简化了高带宽接口的系统集成，允许设计人员用比以前少得多的时间高效地创建和实施基于所有这些新千兆位串行接口标准的设计。

（2）ATCA架构任意两单板均存在直接的数据交换通道，通用性很强，AP/MT可以复用相同机箱/背板，ATCA背板拓扑能灵活设置，既能采用星型架构，也能采用全网格架构，可以按系统的需求进行定制，并预留一些冗余的联结通道，满足所有可能的功能单板间的互联通道需求和研发中的可能变化。

（3）在B3G TDD实验系统架构中，各模块间物理层次上采用ATCA背板的物理连接架构，传输协议层上使用RocketlO接口，任意两模块的单板间互联仅需要2-8对差分线，系统耦合度非常低，便于单板调试、测试和系统连调测试。

（4）有14个通用的模块接口，能预留一些剩余槽位，便于系统功能模块的扩展，如增加板数、处理能力、天线阵数、用户数、用户速率。

（5）ATCA架构具有6对全局时钟／复位差分总线，能满足系统同步工作需要。

5、结束语

在本文描述的体系构架中，经过在该架构上的两块板件进行测试，得出结论：基于模拟ATCA背板的RocketlO传输，单通道能稳定工作于 2Gbps；按照系统的配置绑定4个高速串口通道后的数据，能传输达到8Gbps。而且在我们所进行多次实验测试的过程中，基本上没有误码出现，是一种高性能高可靠的高速架构体系，完全能满足下一代通信系统对于硬件平台架构的要求。

当然，本系统因为是基于国家863计划的，是一种试验架构，比较适用于新一代通信系统的研发过程，真正的进入实用化产业化后，则可以采用ATCA架构以及其交换接口上所定义的一些通信协议，而基带开发等部分肯定也不会采用通用的FPGA，而是专用的基带处理芯片。

参考文献

【1】　Yokosuka，Kanagawa.Fouth Generation Mobile Communication Systems beyond IMT-2000[C].Invited Paper，NTT Mobile Communications Network Inc，2002，8.

【2】　Don Shaver.Broadband and 4G Communications Architectures[P].Texas Instruments DSPS R&D Center Communication Systems Laboratory，2002，4

【3】　Jeff Munch.PICMG3.0规范-先进的通信计算机架构[J].通讯世界，2003，105（8）：96.

【4】　PCI Industrial Computers Manufacturers Group.PICMG3.1 R1.0 Ethernet for AdvancedTCA Systems Short Form Specification[S].2003，1.

【5】　PCI Industrial Computers Manufacturers Group.PICMG3.2 R1.0 Infiniband for AdvancedTCA Systems Short Form Specification[S].2003，1.

【6】　PCI Industrial Computers Manufacturers Group.PICMG3.3 R1.0 StarFabric for AdvancedTCA Systems Short Form Specification[S].2003，1.

【7】　Xlinix Inc.RocketlOTM Transceiver User Guide[S].2002.