基于XML和Web Service的异构数据源集成研究

VIP免费

3.0 陈辉 2024-11-19 5 4 3.45MB 75 页 15积分

侵权投诉

摘要

随着电子信息技术的发展，管理系统普遍存在着多平台运行、多种数据库、

分散凌乱等弊端，建立统一的信息平台是现代企事业单位的核心课题之一。由于

异构数据源在结构、数据、DBMS、硬件、网络协议等方面的差异性和自治性，构

建多数据源数据交换引擎是实现多数据源数据集成与共享的有效解决途径。

XML 的出现使得对各种规则信息及不规则信息的标准化描述成为可能，作为

一种可扩展标记语言，XML 的描述性使得其本身非常适用于异构数据源间的信息

交换。

Web Services 作为一种分布式计算技术，通过使用标准的 XML 信息格式来展

现应用服务，使得 Web 服务系统、语言和发布者相互独立，为信息整合提供了一

种较好的途径。

本文首先介绍了 Web Services 技术特点、XML 语言知识及其与各数据库之间

进行数据交换的关键技术，并结合数据集成系统的特点和需求，在研究现有基于

XML 的数据映射算法和模型的基础上，建立了基于 XML 异构数据源的数据转换

模型，并对转换过程中的模式翻译和模式集成部分制定了详细的转换规则，尽可

能地保留了关系数据库的实体完整性约束、参照完整性约束和用户自定义完整性

约束。然后，针对外部用户对异构数据库系统的查询操作，从分解查询语句，合

并各数据源查询，最终返回用户需要的结果，给出了一个完整的查询处理过程。

最后，论文基于微软的 Visual Studio .net2005 开发平台，以 SQL Server 2000 及

Oracle9i 为例，建立了一个模拟的数据转换平台，实现了外部应用对异构数据源的

透明访问。

关键词：Web 服务 XML 异构数据集成数据交换公共数据模型

ABSTRACT

With the development of electronic information technology, management systems

have messy scattered defects such as running the prevalence of multi-platform, multiple

databases. So, establishing a unified information platform is the core of modern

enterprises and institutions subject. Due to the structure of heterogeneous data sources,

data, DBMS, hardware, network protocols, other differences and self-government,

building a multi-source exchange engine is an effective solution which dealing with

multi-source data integration and share.

XML emergence makes it possible the variety of regular and irregular

information's standardized description. As an extensible markup language, the

self-descriptive XML makes itself apply to the exchange of information in

heterogeneous data sources.

As a distributed computing technology, web services use of standard XML format

to display information application services, making Web services systems, languages

and independent of publishers and providing a better way for integration of information.

This article first introduces the characteristics of Web Services technology, XML

languages and the key technology of data exchange among the databases, combines

with the needs data integration system, be based on existing research in the XML data

mapping algorithms and models, builds a heterogeneous data conversion model based

on XML data sources, and in the process of converting, formulates detailed rules of

conversion in the part of translation and integrated, retains the integrity of the relational

database entities, referential integrity constraints and user-defined integrity constraints

as much as possible. Then, it gives a full inquiry process for external users' query

operation on the heterogeneous database system. Such as the decomposition of query,

the combined data queried, return the final results to users. Finally, the paper based on

Microsoft's Visual Studio. Net 2005 development platform, using SQL Server 2000 and

Oracle9i, has created a simulated data platform, realized the transparent access of the

external application to heterogeneous data sources.

Key words: Web services, XML, data integration of heterogeneous

data, data exchange, public data model

III

摘要

ABSTRACT

第一章绪论 ................................................................................................................. 1

§ 1.1 研究背景 ......................................................................................................... 1

§ 1.2 研究意义 ......................................................................................................... 2

§ 1.3 研究内容 ......................................................................................................... 2

§ 1.4 论文的主要工作及内容安排 ......................................................................... 3

第二章 XML 和WEB SERVICE 技术概述 ...................................................................4

§ 2.1 XML 技术 ....................................................................................................... 4

§2.1.1 XML 语法 .................................................................................................. 4

§2.1.2 XML 模式语言 .......................................................................................... 5

§2.1.3 XML 与应用程序的接口 .......................................................................... 7

§2.1.4 XQuery ....................................................................................................... 8

§ 2.2 WEB SERVICE 技术 ..........................................................................................9

§2.2.1 Web Services 定义 ..................................................................................... 9

§2.2.2 Web Services 特征 ..................................................................................... 9

§2.2.3 Web Services 体系架构模型 ................................................................... 10

§2.2.4 Web Services 相关标准及技术 ............................................................... 12

第三章异构数据集成研究 ........................................................................................... 15

§ 3.1 异构数据库集成策略 ................................................................................... 15

§ 3.2 异构数据库的数据集成方法 ....................................................................... 20

§3.2.1 数据的透明访问 ...................................................................................... 23

§ 3.3 数据库对 XML 的支持 ................................................................................ 25

§3.3.1 Oracle 对XML 的支持 ............................................................................25

§3.3.2 SQL Server 对XML 的支持................................................................... 26

§ 3.4 关系数据库与 XML 之间的映射方法 ........................................................ 28

§3.4.1 基于模板驱动的映射方法 ...................................................................... 28

§3.4.2 基于模型驱动的映射方法 ...................................................................... 29

第四章异构数据集成中的关键技术 ........................................................................... 32

§4.1 基于 XML 的公共数据模型 ........................................................................ 32

§4.1.1 公共数据模型 .......................................................................................... 32

§4.1.2 基于 XML 的公共数据模型 ................................................................... 34

§4.2 模式转换 ....................................................................................................... 35

§4.2.1 模式转换的两个阶段 .............................................................................. 35

§4.2.2 模式翻译阶段 .......................................................................................... 36

§4.2.3 模式集成阶段 .......................................................................................... 43

§4.3 查询处理 ....................................................................................................... 49

§4.3.1 异构数据库系统的查询处理过程 .......................................................... 50

§4.3.2 异构数据库系统的查询实例 .................................................................. 51

第五章异构数据集成实验的实现 ............................................................................... 56

§5.1 系统框架 ....................................................................................................... 56

§5.2 建立全局模式 ............................................................................................... 58

§5.2.1 模式翻译阶段 .......................................................................................... 60

§5.2.2 模式集成阶段 .......................................................................................... 64

§5.3 对全局模式的查询及处理 ........................................................................... 66

第六章总结与展望 ....................................................................................................... 69

§6.1 全文总结 ....................................................................................................... 69

§6.2 下一步的工作 ............................................................................................... 69

参考文献.........................................................................................................................70

在读期间公开发表的论文和承担科研项目及取得成果.............................................72

致谢 ........................................................................................................................... 73

第一章绪论

§ 1.1 研究背景

随着电子信息技术的发展，管理系统普遍存在着多平台运行、多种数据库、

分散凌乱等弊端，建立统一的信息平台是现代企事业单位的核心课题之一。

由于异构数据源在结构、数据、DBMS、硬件、网络协议等方面的差异性和自

治性，构建多数据源数据交换引擎是实现多数据源数据集成与共享的有效解决途

径。多数据源数据交换引擎绝不是在原有系统的基础上进行简单的重复或升级，

而是要从更高起点上进行发展和创新，实现应用集中、信息共享、消除信息孤岛。

目前，很多企业信息化建设越来越完善，而在信息化建设过程中越来越多的

隐患则不断涌出，“信息孤岛”当属于其中之一，不仅给企业造成大量的人力、物

力、财力的浪费，更给后面的信息化建设增加了很多障碍，所以很多信息部门的

主管们甚至谈“岛”色变。所以，无论从企业自身发展角度，还是从企业之间数

据集成的角度来看，越来越多的企业应用，需要一种异构数据集成系统作为访问

异构数据源的支撑。

异构数据源集成是数据库领域的经典问题，并随着 XML 和 Web Service 技术

的兴起，再次成为了该领域研究的一个热点。从为企业应用构建支撑系统的角度

来讲，必须考虑企业异构数据在合成过程中所遇到的特殊问题。总的来看，在构

建异构数据源集成系统时，主要会面对以下几方面问题：

1．异构性

异构性是异构数据集成必须面对的首要问题，其主要表现在两个方面：系统

异构，数据源所依赖的应用系统、数据库管理系统乃至操作系统之间的不同构成

了系统异构。

模式异构，数据源在存储模式上的不同。一般的存储模式包括关系模式、对

象模式、对象关系模式和文档嵌套模式等几种，其中关系模式为主流存储模式。

需要注意的是，即便是同一类存储模式，它们的模式结构可能也存在着差异。例

如 Oracle 所采用的数据类型与 SQL Server 所采用的数据类型并不完全一致。

2.完整性

同构分布式数据库一般没有分布式完整性问题，因为其分布式数据库设计都

是采用“从上到下”的方法：首先定义约束条件，再以一致性的方式将其合并到

每一个局部的完整性子系统中去。可是在异构的多数据库系统中，全局数据库与

局部数据库是层次划分的，要保持完整性比较困难。

基于 XML 和Web Service 的异构数据源集成研究

异构数据源数据集成的目的是为应用提供统一的访问支持。为了满足各种应

用处理数据的条件，集成后的数据必须保证一定的完整性，包括数据完整性和约

束完整性两个方面。

3．性能

网络时代的应用对传统数据集成方法提出了挑战，提出了更高的标准。

4．语义冲突

信息资源之间存在着语义上的区别。这些语义上的不同可能引起各种矛盾，

从简单的名字语义冲突，到复杂的结构语义冲突。语义冲突会带来数据集成结果

的冗余，干扰数据处理、发布和交换。所以如何尽量减少语义冲突也是数据集成

的一个研究热点。

集成两个或多个数据源的时候，数据源的数据之间可能存在着某种联系。把

这种逻辑联系附加到集成结果中的过程就成为附加约束。

5．集成内容限定

多个数据源之间的数据集成，并不是要将所有的数据进行集成，那么如何定

义要集成的范围，就构成了集成内容的限定问题。

§ 1.2 研究意义

Web 数据具有全面、及时、多样化的特点，但往往也是高度自治的，许多半结

构化数据不可能按传统数据库中结构化数据来处理。研究 Web 数据集成系统的主

要目标就是让不同的 Web 数据源协同工作，为全局用户提供统一的查询界面，使

他们能方便地访问所需要的信息，并且能够对查询到的信息做进一步分析处理，

以便给用户提供更好的决策支持。研究基于 Web 的多数据源数据集成是现代企业

构建 B2B 以 B2C 及应用的关键技术，对企业的发展将产生深远的影响。

Web 数据的表现形式是不规则和多样的，要用传统数据库技术来存储和管理

Web 上所有的数据也是不切实际的。Web 数据集成与通常的信息搜索引擎不同，后

者仅能让用户按关键字或其它特征从多个网页中找到相关的信息，而多数据源数

据集成系统通过对数据源集成处理，将各个数据源的查询结果加以整合，然后返

回给用户。

§ 1.3 研究内容

本文研究的内容是：针对异构数据集成过程需要解决的问题，采用 XML 及其

相关技术，将异构数据源统一转化为 XML Schema，使系统具有更高的灵活性和良

好的扩展性；利用 Web Services 和 SOAP 技术解决异构系统的互操作问题，来实

第一章绪论

现在更大范围内数据的集成。利用 XML 技术应用于数据集成的优势，来解决数据

源语义异构问题，以实现数据集成的更大价值。

§ 1.4 论文的主要工作及内容安排

本论文在基于 XML 的异构数据库集成方面展开研究，主要是探讨和解决在异

构环境下的数据源的访问以及数据交换问题，并把研究的内容以 Web Service 的

方式表示出来，以达到数据共享，消除信息孤岛的目的。

全文共分为六章，各章节的具体内容如下:

第一章（绪论），介绍论文研究的背景和意义，研究内容及论文结构。

第二章（XML 和 Web Service 技术概述），研究 XML 和 Web Service 的基础知

识、相关的体系结构以及相应的标准和技术。

第三章（异构数据集成研究），首先介绍了异构数据库系统集成主要采用三种

策略：公共编程界面、公共数据库网关和公共协议；对异构数据集成所采用的联

邦数据库系统、中间件 Mediated 系统、数据仓库法进行了深入分析；研究了关系

数据库与 XML 之间的两种映射方法；此外，Oracle、SQL Server 数据库对 XML 的

支持也做了一定的分析。

第四章（异构数据集成中的关键技术），建立了基于 XML 的公共数据模型，对

于模式转换的两个阶段：模式翻译阶段和模式集成阶段进行了详尽的解释，经过

这两个阶段之后，异构数据库系统有了统一的全局模式；并在此基础上对异构数

据库进行查询处理。

第五章（异构数据集成实验的实现），基于 XML 的异构数据库数据集成系统的

实现使用 B/S 结构，开发平台选择 Visual Studio 2005。给出系统的体系架构。

并以实例的方式，给出了全局模式的建立以及针对基于 Web 的数据库访问方法、

数据库间如何实现数据交换和数据的查询机制做了详细的分析。

第六章（总结与展望），总结全文及对今后工作的展望，提出了一些需要改进

的地方。

基于 XML 和Web Service 的异构数据源集成研究

第二章 XML 和Web Service 技术概述

数据交换系统涉及到很多的相关技术，本章集中介绍在设计和实现中所用到

的几种关键技术。介绍整个系统的基础——XML 技术、Web Services 技术、Web 开

发技术等，为系统的设计和实现奠定的基础。

§ 2.1 XML 技术

可扩展的标记语言 XML 是 eXtensible Markup Language 的缩写[1] ，它由

W3C(WordWide Web Consortium，万维网协会)设计，并于 1998 年 2 月发布。同 HTML

一样是特别为 Web 应用服务的 SGML(Standard Generalized Markup Language,标

准通用标记性语言)的一个简化子集。W3C 组织制定 XML 标准的初衷是，定义一种

互联网上交换数据的标准。它保留了 SGML 的可扩展性结构，以及数据确认方面的

主要优点，可支持建立用户定义的 Web 文件类型，重新定义了 SGML 的某些内部数

值和参数，省略了 SGML 中许多复杂且很少用到的部分。作为对 SGML 语言标准的

一种改良，XML 具有适于异构应用间的数据共享、可以进行数据检索和提供多语种

支持等优点。XML 提供了一种连接关系数据库、面向对象数据库和其他数据库管理

系统的纽带。XML 文档本身节点是一种有若干节点组成的属性结构，这种特点使得

数据更适宜于用面向对象格式来存储，同时也有利于面向对象语言(C++，Java 等)

调用 XML 编程接口访问 XML 节点。正是由于 XML 本身具有的这些特性，使得 XML

成为目前多数信息集成框架的首选。

§2.1.1 XML 语法

通常,一个 XML 文档由三部分组成：声明、模式和文档实例[2]。

XML 文档的第一行为 XML 声明语句，表明 XML 文档的版本、编码方式等通用信

息。引用文档模式的语法，指明了文档模式文件的位置。因为文档模式定义了文

档结构以及各元素之间的关系，解析器会按照这个 XML 模式文档的定义验证 XML

文档的有效合法性，如果 XML 文档遵从文档模式所定义的规则来表现和限制数据，

则该 XML 文档则为有效合法的文档。

每一个 XML 文档都有一个物理结构和逻辑结构。从物理角度来看，XML 文档有

一个个存储单元组成，这些单元称为实体。逻辑上看，文档由声明(declaration)、

元素(element)、注释(comment)和处理指令(processing instruction)组成。

元素是由起始标签，元素内容和结束标签组成，用户把要描述的数据对象放

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

I摘要随着电子信息技术的发展，管理系统普遍存在着多平台运行、多种数据库、分散凌乱等弊端，建立统一的信息平台是现代企事业单位的核心课题之一。由于异构数据源在结构、数据、DBMS、硬件、网络协议等方面的差异性和自治性，构建多数据源数据交换引擎是实现多数据源数据集成与共享的有效解决途径。XML的出现使得对各种规则信息及不规则信息的标准化描述成为可能，作为一种可扩展标记语言，XML的描述性使得其本身非常适用于异构数据源间的信息交换。WebServices作为一种分布式计算技术，通过使用标准的XML信息格式来展现应用服务，使得Web服务系统、语言和发布者相互独立，为信息整合提供了一种较好的途径。本文首先...

展开>> 收起<<

基于XML和Web Service的异构数据源集成研究.pdf

共75页,预览8页

还剩页未读，继续阅读

基于XML和Web Service的异构数据源集成研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: