数据仓库系统在移动通信网管的应用

系统建设方案

1.建设原则

(1)现有基础数据的整合

规范现有数据的采集、存储、命名过程，合理规划并分配采集服务器负荷，增加对数据采集、存储的自动监控，完善自动补采机制，避免非厂家报告原因导致的报告延迟与缺失。修订已有的数据描述文档，能够清晰描述数据库表、字段的含义，与底层报告的关联关系，使现有数据变得"透明"。采集、存储过程中发生问题可以通过短信的形式进行实时告警，增强系统问题发现的及时性。

(2)新基础数据的添加

数据命名应严格遵循统一的规范，增强数据的可读性，便于数据再利用。合理规划并分配采集服务器负荷，增加对新数据采集及存储的自动监控，完善自动补采机制，尽量避免非厂家报告原因导致的报告延迟与缺失。通过足够清晰的文档，避免与数据池已有数据的冲突，保证数据的一致性。

(3)基于数据仓库系统数据的支撑系统应用建设

以数据仓库系统为支撑应用的数据源头。吉林移动根据支撑应用的功能与特点组织数据池数据，并根据规范进行支撑应用系统开发，保证了支撑系统建设的规范性、易扩展性、可移植性、易维护性，在支撑系统应用建设的同时，不断完善和丰富数据池的数据。随着业务的发展，数据仓库系统中的数据会不断丰富，制定必要的数据仓库数据规范，可使数据层次和分类清晰、易读、易复用，便于进行各种专业分析及跨专业关联分析。

2.系统技术特点

(1)全面详尽的原始支撑数据

数据仓库系统涵盖了上层应用所需的各类数据，包括原始性能数据、告警、资源等基础数据，为应用系统的需求的快速实现提供了最基础的数据支撑。

(2)灵活的数据组织模式

数据仓库系统采取了可靠有序的组织模式，可以保证各类应用系统的平滑过渡。

(3)稳定可靠的数据存储

数据仓库系统采取了可靠的数据存储机制，最大程度的保证数据的稳定可靠。

(4)良好的运行性能

数据仓库系统作为各类应用的原点，必须保证良好的运行性能。

(5)统一的技术架构

数据仓库系统可以进行数据的处理和应用的开发，最大程度满足以后的应用需求。吉林移动在数据仓库性能原始数据的采集、过滤、存储各环节都增加了必要的监控。数据物理存储根据数据特点适当分离。数据逻辑上组成数据整体，保证了数据的一致性，提高了应用开发效率，对跨专业数据关联提供有效支持。数据池的应用，保证了在规范新网管支撑数据的同时，对旧的网管支撑数据也进行了优化整理，使新应用的开发周期缩短，对跨专业的关联分析应用提供良好的数据支持。

3.具体实现

数据仓库系统采用数据库进行性能原始数据存储、处理以及自动的备份与恢复。入库前，性能数据要进行过滤和筛选。对于单一的网元，我们采取"采集—分析—入库"的步骤，完成性能计数器的采集工作。配置信息与指标报告的采集存储工作将结合新支撑系统应用的开发工作或原支撑系统应用的改造工作逐步展开。针对基本统计计数器的采集存储工作，我们按设备厂家、设备类型、报告类型等方式分类，划分任务和组织开发。

数据采集进程根据网元报告的产生周期实时运行。系统对数据采集进程有实时的监控进程，一旦发现数据采集进程异常退出，系统自动重启数据采集进程，同时向系统维护人员发送短信，提示系统的异常。同时，数据采集进程校验采集数据的完整性，一旦发现数据不完整，可自动进行数据补采，并及时会向系统维护人员发送短信，提示系统异常。

4.具体应用

吉林移动网络管理中心已经建立数据仓库系统，使整个网管系统应用的数据流向变得清晰，便于支撑系统的维护与管理，基于数据仓库的应用建设也简单化，避免了从多个数据源取数的复杂性，同时也降低了由于各个数据源进行数据同步所造成的系统不一致性。依托数据仓库内的数据，吉林移动开发完成了"性能监控大屏网络展示系统"、"软交换性能告警系统"，也进一步验证了数据池建设的合理性和对支撑应用开发的有力支持。

作 者：吉林移动通信有限责任公司网络管理中心 金浩 辛海英

来源：通信世界周刊