需求背景

  近年来，我国的电子政务和企业信息化建设已经进入了一个新阶段，企业面临在不同时期、应用不同技术、与不同的厂商合作，建设了不同规模的应用系统，造成这些系统之间互相独立，不能集成，数据不能共享。同时，分层管理模式是在国家政府机关和大型企业中普遍采用的一种管理模式，例如政府机关包括中央、省、市、县等若干级，大型企业一般又分为总公司、公司和生产厂等层次，为了加强上级机构对下级的管理和各级机构之间互通信息的需求，各级机构之间需要及时、可靠地交换大量的数据信息。由于这些数据，可能是不同的系统产生的，如财务系统、人事系统等，这些系统通常都是自治的，并且数据可能是异构的，但又是需要彼此交互的，因此这些机关和企业迫切需要在本机构内，建立一个数据传输和集成的平台。

数据集成中间件概述

  数据集成中间件通过统一的全局数据模型来访问异构的数据库、遗留系统、Web 资源等。中间件位于异构数据源系统（数据层） 和应用程序（应用层） 之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索与集成服务。

数据集成中间件体系结构图

  数据集成中间件是比较流行的数据集成方法，它通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。

  要达成系统的需求，需要借助数据Web服务子系统、数据集成子系统、数据抽取子系统、综合展示子系统等子系统来实现，各子系统之间的结构关系如下图所示：

数据集成中间件的特点

  近年来，我国的电子政务和企业信息化建设已经进入了一个新阶段，企业面临在不同时期、应用不同技术、与不同的厂商合作，建设了不同规模的应用系统，造成这些系统之间互相独立，不能集成，数据不能共享。同时，分层管理模式是在国家政府机关和大型企业中普遍采用的一种管理模式，例如政府机关包括中央、省、市、县等若干级，大型企业一般又分为总公司、公司和生产厂等层次，为了加强上级机构对下级的管理和各级机构之间互通信息的需求，各级机构之间需要及时、可靠地交换大量的数据信息。由于这些数据，可能是不同的系统产生的，如财务系统、人事系统等，这些系统通常都是自治的，并且数据可能是异构的，但又是需要彼此交互的，因此这些机关和企业迫切需要在本机构内，建立一个数据传输和集成的平台。

(1) 界面直观，使用简单

  数据集成中间件充分考虑了用户使用的便捷性和易用性，提供了图形化的开发、管理和监控界面，使非技术人员通过简单的培训也能掌握要高级技术人员通过编程完成的功能。便捷性主要体现在整个抽取、转换、加工整合只要通过简单的操作就可以实现。易用性体现在对于任何用户，即便对计算机使用较少的人，只要明白业务需求，通过培训即可轻易自主使用中间件设计自己的业务需求。

(2) 支持各种平台和广泛的数据源

  数据集成中间件支持各种字符集的转换，能够运行在多种主流操作系统之上。数据集成中间件采用高性能的数据抽取接口，通过JDBC、ODBC、JNDI、OCI等技术支持的各种数据源。支持常见的数据库，如Oracle、SQL Server、MySQL等主流数据库，这为提取多数据源数据提供了完备的保障。

(3) 丰富的数据转换功能

  数据集成中间件包含了丰富的数据转换功能，比如值影射、拆分字段、字段选择、计算器、增加常量、排序纪录、过滤纪录、去除重复纪录、是否为null、行转为列、分组等等。这些转换控件支持ETL过程中数据转换环节执行顺序、支持的数据平滑化、规范化、聚类等转换操作。即便对于新出现的特殊转换，我们也可以开发出个性化的转换控件，放入数据集成中间件即可实现即插即用的功能。

(4) 灵活的可扩充性，支持二次开发

  数据集成中间件通过组件化设计、接口化设计实现了灵活的可扩充性，对于各个模块支持二次开发控件的即插即用。这样可以有效地对数据转换模块进行二次开发，为用户业务发展、业务变更等提供了可扩充性，使用户花费很小的成本，即可享用定制化的服务。比如用户需要一个合并纪录的业务要求，那么我们可以在短时间内开发一个“合并纪录”的转换控件，直接放到数据集成中间件中即可使用。

(5) 完善的运行、调试、分析、日志管理

  数据集成中间件包括完整地运行、调试、管理功能以及不同层次级别的日志管理功能、完善的数据审计功能。数据集成中间件有相关的监控预警机制，为作业设计人员，提供了良好的设计环境，使设计人员能观察执行过程。数据集成中间件只是从业务数据源读取数据，即便执行失败也不会对源数据任何做修改，保证了作业正常进行，不影响数据源系统和经营分析系统的正常工作。

主要功能界面

（1）数据仓库管理

（2）元数据管理

（3）任务管理与调度