电信行业高效数据压缩技术的应用

一年前，IDC发布了一项关于数据存储的预测，IDC认为，全球数据量的迅速增长将会导致人类在2010年左右遭遇到新数据可能无处可存的窘境。当然，许多业内人士对IDC的这一观点提出了质疑，理由有：数据存储时间很短、存储介质将不断丰富、数据的产生本身就要依托存储的介质等，但是，对于IDC预测中所暗含的数据迅猛增长的趋势，并没有太多人表示怀疑。尤其是近年来电信、金融等行业辉煌发展的同时，都伴随着数据的持续海量增长，就更加证明了这一趋势。

电信行业是存储方案应用最成熟、最广泛、要求最高的行业之一，可谓是存储应用的前沿阵地。在行业迅速发展、增值业务不断推出以及基于历史数据的行为分析、用户细分等数据挖掘情形下，可以发现电信行业对存储方案的需求，主要集中在计费中心、数据中心、互联网中心等方向。电信企业一方面要求确保业务数据安全、可靠、永久在线、系统性能能够快速响应，另一方面又希望存储方案能够更经济、更有效。中电达通通信技术股份有限公司正是基于对电信行业用户对存储方案要求的深刻理解和多年的市场研究，于2005年提出了针对数据持续海量增长的历史数据生命周期解决方案，在经历了3年的市场应用及不断优化过程中，已使电信企业的上述要求能够得到充分的满足，并实现最大的投资回报。

DataMerger系统简介

历史数据高效压缩存储系统—DataMerger，适用于解决电信行业中大量的历史数据的管理和存储，诸如在所有交易中产生的，且必须在一定时间内应予保留备查和统计分析之用的结果数据，如账单/详单数据、短信数据、跨网结算数据等。首先将其从计费系统中予以剥离，以减轻主系统负荷、提高生产系统的效率，其次根据其数据的历史生命周期，对不同使用频率的数据采用不同的压缩比率进行压缩，在保证使用的前提下，尽最大的可能合理压缩数据。这种数据存储方式既没有占用大量的一级存储，节约了成本，同时也解决了低廉的二级存储方案不能满足管理查询和分析的问题。

图 DataMerger系统拓扑图

DataMerger系统结构

DataMerger本身是一个完整的关系型数据库服务器，支持SQL语法，具备稳定可靠的ODBC、JDBC、C/C++等应用接口，同时，DataMerger可以与多种数据库互联，通过Oracle数据库服务器对应用程序提供服务。

DataMerger数据库管理系统，由数据库服务器、控制台、后台维护管理工具、备份/恢复工具、系统互联接口、Oracle数据互联服务器以及统计分析接口构成。

DataMerger系统拓扑

DM系统处于主系统和应用系统中间，DM系统根据用户的需求将数据定期从主系统中进行抽取，数据抽取过来后根据索引进行二次压缩和数据校验，然后完成数据的上线。应用程序可以通过DM系统的多种接口进行连接。DataMerger系统拓扑如图所示。

DataMerger系统的特点

操作系统：支持主流的Unix操作系统，包括AIX、HP-Unix、Linux、Solaris等。

数据抽取方式：联机采集，与需要进行数据抽取的源数据库进行连接后，直接进行数据采集，采集方可根据用户需求进行全表或条件采集，全表采集对源系统影响很小（1%以内），条件采集取决于采集SQL的复杂度。

存储压缩方式：多种压缩比率可调，根据数据的不同生命周期，采用快速压缩、普通压缩、中密度压缩、高密度压缩四种方式。而且还可根据需求按列或按行进行压缩，组合后压缩方式多达八种。

采集数据源：提供对主流数据库采集的支持。如Oracle、DB2、Sybase、Informix、MySQL的联机采集支持。

检索方式：支持标准的SQL92标准，可以通过SQL语句直接进行联机检索。也可以通过Oracle的异构组件与Oracle数据库进行互联，实现数据共享，对应用透明。

数据恢复：数据恢复时只需把备份文件直接拷贝到DM中，通过挂载即可完成数据恢复过程，且可对备份的数据直接进行SQL查询。

可扩展性：DM本身作为一个标准的数据库系统，很容易支持各种大数据量的应用系统的历史数据生命周期管理，无需进行复杂的接口开发。

DataMerger系统案例

到目前为止，DataMerger系统的成功案例有：河南联通历史详单数据高效存储联机检索系统、内蒙古联通详单历史数据生命周期管理系统、吉林联通话费详单历史数据生命周期管理系统、内蒙古联通（原网通）结算数据管理查询系统、云南联通话费详单历史数据统计分析系统、中国铁通总部话费详单历史数据存储管理系统等。以下是两个DataMerger系统在运营商中的典型应用。

河南联通的历史详单数据高效存储联机检索系统应用也较为广泛，河南联通曾使用IBM公司的Ondemand进行历史数据的压缩管理，但由于昂贵的维保费用和此产品对应用程序的依赖性，使得维护和资金上显得捉襟见肘。经过认真地审核，河南联通选择了DataMerger系统来管理庞大的历史数据。河南联通将系统的历史详单（语音话单、短信、彩铃、193长途、GPRS、账单等）和报表数据放到DataMerger系统进行管理，其业务提供公司内部的报表系统查询和详单查询、通过Tuxedo中间件提供全省营业厅自助打印机查询、全省前台营业厅的历史详单查询和互联网查询。其中部分查询通过异构的方式实现，在整个应用程序的改造只用了3天时间，大大减少了系统改造所带来的不便。通过几次售后调查得知，系统运行一直稳定，检索性能优异，完全达到初期系统建设的目的。

内蒙古联通（原网通）结算数据管理查询系统主要应用在其公司内部结算数据的查询，以往查询的方式是省公司对各市、县级公司下发只有查询权限的DB2用户，各地市的查询时间没能合理分配，经常造成数据查询响应非常慢或无法查询，对于系统中数据本身的安全性也构成了一定的威胁，再加上原来使用的是Oracle数据库，大家对DB2的操作也不是很熟悉，操作起来比较费时；另一方面，大量的数据使得查询变得越来越复杂，历史数据备份到磁带库中无法进行查询，整个还原查询的时间非常漫长。使用了DataMerger系统后，系统定期到DB2中采集数据，各地市一张表，每个地市的操作人员只查询各自的数据表，数据以只读的方式提供，对数据和原生产主机的安全性来说也得到了很大的提高，并且查询的速度也比之前要快了3倍以上。

DataMerger系统除了在电信行业可以体现他的巨大价值以外，对一些存在大量新增数据并需要长期保存的行业也可以有很好的应用，如在金融行业、电力行业，尤其是金融行业的银行信用卡中心，DataMerger不仅可以满足不断新增的数据都需要永久保留的要求，而且在产品的成本和维保上也远远低于同类的国外产品。

科技的进步带动电信行业的迅猛发展，越来越丰富的业务给后台的支撑平台提出了更高的要求，在如此复杂的历史条件下，相信高效、节约的DataMerger系统会有更多的机会发挥它更大的作用！

作者：中电达通通信技术股份有限公司系统工程师 杨宏亮 来源：通信世界网