- 易迪拓培训,专注于微波、射频、天线设计工程师的培养
动态数据仓库设计与应用浅谈
录入:edatop.com 点击:
动态数据仓库设计
前面提到,"动态数据仓库"在技术设施上采用得都是已有技术,而实现的难点在于"动态",即如何实现数据仓库的"动态"特性,这也是部署"动态数据仓库"系统的关键所在。动态数据仓库中包含了传统数据仓库的各种元素,例如元数据管理、数据分发、对外服务、调度管理、代码自动化、数据质量管理等。
要实现动态数据仓库中的动态数据加载,有多个实施方案供用户选择。目前,市场中存在多个接近实时的数据同步解决方案。例如,在专有工具方面,可以借助IBM WRS SQL复制和IBM WRS基于Q的复制实现;ETL工具包含Informatica PowerExchange、IBM DataStage加CDC组件;数据库工具包括,甲骨文数据库的复制技术、DB2基于CD/CCD的SQL复制,以及SQL Server的出版社订阅复制技术;另外,数据捕获器与消息中间件的集成可以提供动态数据仓库的客户化集成解决方案。
上述方案基本上是基于现有的数据库复制技术进行。除此之外,还有一些专业的数据同步软件,例如GoldenGate就是进行数据实时同步的一个非常好的工具。有报道称,美国领先卫星电视服务提供商DIRECTV就是采用GoldenGate和Teradata来部署动态数据仓库,并获得成功的。
动态数据仓库的应用
现阶段,动态数据仓库的实践者主要为速递服务公司和金融保险类企业。软件解决方案方面,NCR teradata的ADW(Active Data Warehouse)、Sybase IQ能够为企业的动态数据仓库应用提供比较好的支持。其中,Sybase IQ的特色在于采用了按列存储的创新技术和专有的数据压缩技术。
近期速递服务行业纷纷开始构建邮件速递的实时动态查询系统。作为这一系统的主要支撑技术,动态数据仓库将帮助速递服务企业构建覆盖业务分析、时限控制、财务结算等内容的业务应用平台。日前,国内某速递服务公司就以Teradata平台作为其特快专递系统的硬件平台,并采用Teradata ADW解决方案搭建起其第三代速递跟踪查询系统。
系统上线后,该公司的速递邮件实时动态跟踪查询系统每天处理超过千万笔信息,全天邮件查询量从上线之初的几十万件次增加到了上百万件次,高峰访问时段可达到每小时十几万件次。借助动态数据仓库,该公司速递邮件的收寄、投递信息在处理完成几分钟内即可发送上网,而对于采用无线手持终端方式上传的邮件状态,可以在几秒钟内即体现出邮件的最新状态,大大提高了查询的时效性,更好地满足了用户的需求。
而在金融行业,现阶段的动态数据仓库应用主要是主动预防和管控某些业务风险,而不是等到风险发生后再报告。该过程将原来的被动管理转化为现在的主动防范。而除了风险控管,企业还可以通过对数据的分析和整理来判定自己的交易行为或客户的交易行为是否符合法律法规的要求。
前面提到,"动态数据仓库"在技术设施上采用得都是已有技术,而实现的难点在于"动态",即如何实现数据仓库的"动态"特性,这也是部署"动态数据仓库"系统的关键所在。动态数据仓库中包含了传统数据仓库的各种元素,例如元数据管理、数据分发、对外服务、调度管理、代码自动化、数据质量管理等。
要实现动态数据仓库中的动态数据加载,有多个实施方案供用户选择。目前,市场中存在多个接近实时的数据同步解决方案。例如,在专有工具方面,可以借助IBM WRS SQL复制和IBM WRS基于Q的复制实现;ETL工具包含Informatica PowerExchange、IBM DataStage加CDC组件;数据库工具包括,甲骨文数据库的复制技术、DB2基于CD/CCD的SQL复制,以及SQL Server的出版社订阅复制技术;另外,数据捕获器与消息中间件的集成可以提供动态数据仓库的客户化集成解决方案。
上述方案基本上是基于现有的数据库复制技术进行。除此之外,还有一些专业的数据同步软件,例如GoldenGate就是进行数据实时同步的一个非常好的工具。有报道称,美国领先卫星电视服务提供商DIRECTV就是采用GoldenGate和Teradata来部署动态数据仓库,并获得成功的。
动态数据仓库的应用
现阶段,动态数据仓库的实践者主要为速递服务公司和金融保险类企业。软件解决方案方面,NCR teradata的ADW(Active Data Warehouse)、Sybase IQ能够为企业的动态数据仓库应用提供比较好的支持。其中,Sybase IQ的特色在于采用了按列存储的创新技术和专有的数据压缩技术。
近期速递服务行业纷纷开始构建邮件速递的实时动态查询系统。作为这一系统的主要支撑技术,动态数据仓库将帮助速递服务企业构建覆盖业务分析、时限控制、财务结算等内容的业务应用平台。日前,国内某速递服务公司就以Teradata平台作为其特快专递系统的硬件平台,并采用Teradata ADW解决方案搭建起其第三代速递跟踪查询系统。
系统上线后,该公司的速递邮件实时动态跟踪查询系统每天处理超过千万笔信息,全天邮件查询量从上线之初的几十万件次增加到了上百万件次,高峰访问时段可达到每小时十几万件次。借助动态数据仓库,该公司速递邮件的收寄、投递信息在处理完成几分钟内即可发送上网,而对于采用无线手持终端方式上传的邮件状态,可以在几秒钟内即体现出邮件的最新状态,大大提高了查询的时效性,更好地满足了用户的需求。
而在金融行业,现阶段的动态数据仓库应用主要是主动预防和管控某些业务风险,而不是等到风险发生后再报告。该过程将原来的被动管理转化为现在的主动防范。而除了风险控管,企业还可以通过对数据的分析和整理来判定自己的交易行为或客户的交易行为是否符合法律法规的要求。
上一篇:嵌入式Linux基础知识全接触
下一篇:浅析无线异构网络的关键安全技术