基于SOAP的多机群网格通信模型研究与实现

VIP免费
3.0 陈辉 2024-11-19 5 4 1.57MB 87 页 15积分
侵权投诉
I
摘 要
随着信息技术的发展，人们对计算资源的需求日益膨胀，海量数据正在出现
在各行各业。这些数据包含着各种对人类社会有用的信息，如何对这些海量数据
进行管理与利用成为了一个摆在信息行业界的问题。对海量数据的处理客观上要
求巨大的计算能力和存储能力。随着海量数据的数据量不断扩大，传统的超级计
算机不能提供充足的计算能力，并且其高昂的价格不适合处理海量数据。于是出
现了采用计算机机群处理海量数据的趋势。为了更充分利用网络上闲置的计算资
源，又出现了网格计算的计算模式。
网格计算环境是并行的、资源分布的、异构和动态的。虽然在局域网环境下
的通信机制已经发展得比较完善，如支持并行通信的 MPI 还有支持异构环境的通
信机制如 CORBA、DCOM。但在广域环境下的通信机制由于 Internet 的防火墙机
制的限制而使得传统的基于局域网的分布式通信机制不能很好的工作。
为了在异构的网格环境下支持通信，在由多计算机机群构成的多机群网格环
境下利用 SOAP 协议进行并行计算，本文采用分布式服务（Web Services）技术并
使用 JWSDP（Java Web 服务开发工具包）构建了一个基于 SOAP 的多机群网格的
并行通信。本文主要进行了以下四个方面的研究：（1）本文借鉴 Ad-hoc 网络，提
出了动态组网、动态调整网络拓扑结构的自适应算法。（2）本文还提出了采用 SOAP
压缩机制来提高传输性能。（3）本文利用 JWSDP 提供的同步异步通信机制来实现
多机群网格环境下的通步、异步通信，构造了一对一、一对多乃至多对多的通信
模型以支持网格环境下的并行通信。（4）本文采用了通过 SOAP 与 TCP 传输性能对
比的结果表明，该通信模型可以有效支持多机群网格的构建及其上的并行通信。
关键词：SOAP JAXM JAX-RPC Web Services 并行通信
II
ABSTRACT
With the development of information technology, the demand of information
resource is also increasing .Massive data is appearing in all walks of life .The data holds
useful information for the human race. So , how to manage and utilize massive data has
become a task for the IT field . Massive data requires great computing capabilities .
With the fast growing pace of the capacity of massive data . It’s too expensive and
sometimes even impossible for the mainframe computer to cope with massive data .So,
the trend is to use computer cluster to replace mainframe computer, to make better use
of the available unused computing capabilities of the nework, the concept of grid
computing is becoming more and more popular .
Grid computing environment is parallel, distributed and dynamic. Although the
communication mechanism has been there for a while and has been well developed.
Such as MPI which provides good support and shows good performance for the parallel
communication. CORBA 、DCOM provide support for communication in
heterogeneous environment . However, In the internet environment ,there are
firewalls ,which prohibited the traditional ways of communication working well in the
LAN environment .
In order to support the communication of heterogeneous grid computing
environment . This paper use SOAP to support the parallel communication using
distributed web service technology and JWSDP(java web service development packet)
to build a multi-cluster parallel communication model . The research carried out by
this paper can be divided into four parts:(1) Inspired by the Ad-hoc network ,this paper
brings forward a self-adaptive network building, topology adjusting algorithm.(2) This
paper proposes the compression of soap message to improve the performance of
communication. (3) Using JWSDP, we realize synchronous 、asynchronous
communication mechanisms and one to one 、one to many 、many to many
communication mechanisms. (4) we make comparisons of SOAP and TCP
communication performance to prove that the communication model described by this
paper can support the construction of the system and the parallel communication on it.
Key Words ：SOAP JAXM JAX-RPC Web-Services Parallel
Communication
III
目录
摘 要
..............................................................................................................................................................I
ABSTRACT ................................................................................................................................................... II
目录
.............................................................................................................................................................III
第一章 绪论
.................................................................................................................................................1
§1.1 课题来源与意义 .............................................................................................................................. 1
§ 1.2 国内外研究现状 ..............................................................................................................................2
§1.3 本文的研究工作 .............................................................................................................................. 3
§1.4 论文各章节的安排 .......................................................................................................................... 3
第二章 从分布式环境下的通信机制到
SOAP
协议的演进
..................................................................... 5
§2.1 分布式环境下的通信机制 ...............................................................................................................6
§2.1.1
客户端－服务器端应用程序
................................................................................................... 6
§2.1.2
通用对象代理体系结构
........................................................................................................... 6
§2.1.3 JAVA RMI ...................................................................................................................................8
§2.1.4 MICROSOFT DCOM .................................................................................................................9
§2.1.5
面向消息的中间件
................................................................................................................ 10
§2.2 传统分布式通信技术存在的问题 .................................................................................................11
第三章
SOAP
协议以及相关知识介绍
.................................................................................................... 13
§3.1 XML 简介 ...................................................................................................................................... 13
§3.1.1 XML
文档的格式
.................................................................................................................... 13
§3.2 基于 XML 的SOAP 协议 ............................................................................................................. 15
§3.2.1 Soap
消息的组成
.................................................................................................................... 15
§3.2.2 SOAP
头
...................................................................................................................................17
§3.2.3 S
OAP 消息体
............................................................................................................................ 21
§3.2.4 SOAP
故障
[7] ........................................................................................................................... 22
§3.2.5 SOAP
消息附件
.......................................................................................................................22
§3.2.6 Soap
的编码
............................................................................................................................ 23
§3.2.7 SOAP
与传输协议绑定
...........................................................................................................25
第四章
SOAP
消息传递模式与消息交换模式
........................................................................................ 29
§4.1 SOAP 传递模式 .......................................................................................................................... 29
§4.
1.1
Document/Literal 消息传递模式
.................................................................................... 29
§4.
1.2 RPC/Literal
消息传递模式
.................................................................................................30
§4.2SOAP 消息交换模式 .....................................................................................................................31
第五章 基于
SOAP
和
AD-HOC
型的多机群网格并行通信模型
.......................................................... 33
§5.1 AD-HOC 网络简介 ........................................................................................................................... 33
§5.2 AD HOC 网络的特点 ....................................................................................................................33
§5.3 网格计算简介 .................................................................................................................................34
§5.4 一个 SOAP 协议的多机群网格通信模型 .......................................................................................36
§
5.4.1 QMCG 时序图及说明
............................................................................................................. 36
§
5.4.2 系统中节点部署
.................................................................................................................. 37
§
5.4.3 系统名词定义
....................................................................................................................... 37
§5.4.4
本系统的状态转换图如下图
................................................................................................. 39
§5.4.5 QMCG
的通信机制
.................................................................................................................39
§5.4.6
模型中的协议配置
................................................................................................................. 40
IV
§5.4.7 SOAP
通信域构成图
...............................................................................................................40
§5.4.8
QMCG 系统算法描述
............................................................................................................... 41
§5.4.8.1
QMCG 动态组网过程
............................................................................................................. 41
§5.4.8.2
QMCG 的动态维护算法
......................................................................................................... 44
§5.4.8.3 QMCG
的节点退出过程算法
..............................................................................................45
§5.4.8.4
QMCG 组播通信模型
............................................................................................................. 46
§5.4.8.4.2 SOAP
消息的多对多通信机制
.........................................................................................47
§5.4.8.5 QMCG
异步通信算法
.......................................................................................................48
§5.4.8.6 SOAP
消息的压缩算法
.....................................................................................................49
§5.4.9 Tcp
通信域中的通信
...............................................................................................................50
第六章
QMCG
中的
SOAP
通信支持
...................................................................................................... 51
§ 6.1 JAXM 提供的通信支持 ................................................................................................................51
§6.1.1 Jaxm
应用程序体系结构
........................................................................................................ 52
§6.1.2 Jaxm 消息交换交互模式
................................................................................................... 53
§6.1.3 利用 JAXM SOAP 消息发送过程
......................................................................................... 53
§
6.1.4 利用
JAXM SOAP
消息接收
.................................................................................................55
§
6.1.5
JAXM
在
QMCG
中的应用
..................................................................................................55
§6.2 基于 SOAP 的JAX-RPC 支持 QMCG 并行通信 ........................................................................55
§
6.2.1 JAX-RPC
的核心特征
........................................................................................................... 56
§
6.2.2JAXM
与
JAX-RPC
的比较
.................................................................................................... 57
§
6.2.3 JAX-RPC
应用程序体系结构的构成
................................................................................... 58
§
6.2.4 java/xml
数据类型映射
.........................................................................................................58
§
6.2.5 java/WSDL
定义映射
........................................................................................................... 61
§
6.2.6 JAX-RPC
中的附件类型映射
............................................................................................... 61
§
6.2.7QMCG
中的
JAX-RPC
应用
.................................................................................................. 62
第七章 关键技术与部分代码
...................................................................................................................65
§7.1 利用 JNI 获得本地数据 ................................................................................................................. 65
§7.2 采用 JAVA 压缩技术对 SOAP 消息进行压缩部分代码 ..............................................................70
第八章 实验及结果分析
...........................................................................................................................73
§8.1 实验设计 ........................................................................................................................................ 73
§8.2 软、硬件环境及相关配置信息 .................................................................................................... 73
§8.2.1
硬件环境
................................................................................................................................ 73
§8.2.2
软件环境
................................................................................................................................ 73
§8.3 实验及结果分析 ............................................................................................................................ 74
第九章 结束语
...........................................................................................................................................81
参考文献
.....................................................................................................................................................82
在读期间公开发表的论文和承担科研项目及取得成果
.........................................................................85
致 谢
.....................................................................................................................................................86
第一章 绪论
1
第一章 绪论
§1.1 课题来源与意义
随着信息社会的快速发展，信息量急速增长，海量数据开始出现在大型企业
和事业部门；这些海量数据多以分布式方式存在，通过 Internet 互联。这些分散
的数据可能由大型企业或事业部门的各个分支产生。对于企业或事业部门的决策
者来说，这些以分布方式存在的数据往往是决策的依据，对分布的海量数据的查
询是十分必要的。但是由于其地域的分散性，数据的分布往往出现跨平台分布偏
斜的特点；同时，各部门为了自身网络安全会利用防火墙限制本地数据与外界数
据的交互。这些使得对分布式的海量数据进行高效的检索与查询成为摆在业界的
一项课题。为了支持这种分布式异构环境下的海量数据查询，提供一个在此环境
下适用的通信模型是一个十分必要的前提。
伴随着网络技术的迅速发展，机群计算、网格计算[1-3]等技术相继出现。这
些计算模式利用互联网把分散在不同地理位置的计算机组织成一个虚拟的超级
计算机，其中每一台参与计算的计算机就是一个计算节点。这样就可以充分利用
各地闲散的计算资源同时可以增加整个网络的数据处理能力。2002 年美国
Argonne 国家实验室推出了 Globus[4] ，该项技术已经在 NASA 网格（NASA
IPG）、欧洲数据网格（Data Grid）、 美国国家技术网格（NTG）等多个项目中得
到应用并已成为事实上的网格计算标准。而国内也开展了“中国国家网格”、“教
育科研网格”、“织女星网格”和“先进计算基础设施北京、上海试点工程” 等
五大网格项目的研究。
利用网格计算模型的充分利用闲散资源、任务分片、计算结点并行工作以提
高处理能力的特点可以较好的处理对海量数据的高效查询问题。由于计算结点以
分布式存在与互联网上，结点之间存在的防火墙往往使得传统的通信方式不能正
常进行；采用 HTTP 隧道技术将 SOAP 与HTTP 绑定可以穿越防火墙使得数据可
以在 internet 上的计算机点间交互。
SOAP 基于 XML 而便于各种异构数据的交互
已经成为网格计算中最广泛应用的通信协议[5][6]。如何利用 SOAP 构造多机群的
查询网格、实现各计算结点动态组网、计算节点的动态退出、同时支持计算结点
间的多种模式的数据通信成为十分关键的问题。传统的并行计算通信如 MPI 与
VPN 已经有比较成熟的产品出现但是它们均只适用于计算机机群内部的通信而
不适用于分布在互联网上的异构数据之间的交互。现有的 SOAP 为轻型的通信协
议，主要是为了实现异构数据之间的交互。[7-9]
基于 SOAP 的多机群网格通信模型研究与实现
2
本课题旨在构建一个基于 SOAP 的多机群网格查询系统的通信模型。采用分
布式服务技术并使用 JWSDP（Java Web 服务开发工具包）[10][11]实现了该模型，
借助于 JAX-RPC 和JAXM 同步和异步通信机制。同时，借鉴 AD- hoc 网络的构
造方法，通过 SOAP 协议构建模型该多机群网格通信模型。此外还进行相关关键
技术研究和实验。
本课题的研究成果为海量数据查询提供了理论基础，对于满足当前应用需
要，适应信息量剧增的趋势，进行海量数据高性能查询具有重要的作用和现实意
义。
§ 1.2 国内外研究现状
目前对于海量数据查询的研究多集中于算法研究，模型多为假设海量数据分
布在单个机群内，通过局域网互联。对于广域网环境下的多机群海量数据查询的
通信机制研究国内外的并不多见，有关广域网环境下多机群间通信环境构造以及
多机群间的并行通信的研究就更少。
有关采用 SOAP 在广域网传输性能的研究。Binghamton University 的Weiyi
Meng 提出了微分反串行化（differential deserialization）的优化方法，利用消息之
间可能存在的相似性缩短了反序列化 soap 消息时间。也有人指出由于 XML 自身
的特点使得 XML 数据存在很大的压缩空间，有实验用通用的 GZIP 算法对 SOAP
消息进行压缩其压缩比约为 9：1，目前针对 XML 文档的压缩有 XMill, Xgrind、
XPress 以及 XPack，这些算法对 SOAP 消息压缩有更好的压缩性能[12][13]。目前已
经有研究对 SOAP 消息进行压缩，将原内容压缩为二进制流并将其加入到 SOAP
Message 的附件域中以 DIME 方式打包传输。
目前的 SOAP1.2 是由 SUN Microsystems、IBM、HP、EBA、Microsoft 和Oracle
等供应商领导的 W3C XML 工作组努力的结晶[7]。SOAP 多用于传输轻量级数据，
传输时依据具体应用需要可以与 HTTP/SSL、JMS、BEEP 绑定。对于 SOAP 消息
的交换模式，SOAP 规范 1.2 提出了四种：单向消息、请求/响应交换、请求多响应
模式、通知模式、征求－相应模式。SOAP 协议并不针对某种编程语言，SUN 公
司发布的 JWSDP 软件包对 java 环境下的 SOAP 通信进行了很好的支持；Microsoft
公司实现了 SOAP 协议,并使之成为.Net Framework 的一个重要的基础;IBM 和
Oracle 对于 SOAP 也都有自己的解决方案。
第一章 绪论
3
§1.3 本文的研究工作
本课题的主要研究内容是基于 SOAP 的并行通信研究，构建并行通信模型
QMCG（Query Multi-Cluster Grid ）。该模型涉及到并行查询所需的点对点、多对
多、组播、广播机制和为优化 SOAP 协议的传输性能而采用的压缩机制。
本文采用分布式服务技术并使用 JWSDP 实现 QMCG，借助 JAX-RPC 和JAXM
同步调用和异步通信机制[10]。该模型采用 Master，Sub-Master，Query Node 模式，
可支自动组建查询系统，动态调整系统和并行查询功能；研究了消息的编码和解
码技术，异步通信框架，同步通信框架，数据的分块和组合技术；提出了基于 Ad-hoc
的动态自适应网络、SOAP 协议传输大数据机制等优化策略；解决基于 SOAP 应用
的性能瓶颈以及数据密集型并行通信峰值所造成的效率低下问题；最后对模型进
行了一对多通信实验，一对多通信对比实验，基于 SOAP、TCP 和压缩传递的多对
多通信对比实验等。
§1.4 论文各章节的安排
全文共分九章。
第一章是绪论；第二章是从分布式环境下的通信机制到 SOAP 协议的演进；第
三章是 SOAP 协议及相关知识介绍；第四章是 SOAP 消息传递模式与消息交换模
式；第五章是基于 SOAP 和Ad-hoc 型的多机群网格并行通信模型；第六章是
QMCG 中的 SOAP 通信支持；第七章是关键技术；第八章是实验及结果分析。
第九章是结论。
第二章 从分布式环境下的通信机制到 soap 协议的演进
5
第二章 从分布式环境下的通信机制到 SOAP 协议的演
进
在早期的计算领域中，基于大型机的应用程序被认为是最适合执行大规模数
据处理的应用程序的解决方案。而随着个人计算机的出现，软件程序的成本越来
越低，应用程序也更容易于使用，于是在单台计算机上运行软件的观念越来越深
入人心。随着在单台计算机上运行的基于 Pc 的应用程序数量不断增多，此类应用
程序之间的通信变得非常重要，而通过网络协议 tcp/ip 进行 Remote Procedure Call
则被应用程序软件通信所广泛采用，因此，由于需要彼此通信和共享数据，在各
种硬件平台、操作系统和不同网络运行软件就面临着更多挑战。这就导致了分布
式计算机应用程序的产生。
从概念上讲，“分布式计算是一种计算方法，在这种计算方法中，组成应用程
序的不同组件和对象可以位于已连接到网络上的不同计算机上。”
[14]目前最常用的
分布式环境下机群计算通信技术包括 SUN JAVA RMI 、OMG CORBA、Microsoft
DCOM、和 MOM。尽管这些技术的基本框架结构设计思想和实现方式各不相同，
但都针对目标环境中的特定问题 [14] 。
分布式的机群式计算环境有通信有许多显著特点
1. 性能更高：可以同时执行多个应用程序，并通过多个服务器分担负载。
2. 协作性： 可以通过标准的分布式计算机制连接多个应用程序。
3. 可靠性和可用性高：应用程序或服务器程序可以在多台计算机上以群集方式使
用。
4. 可伸缩性：通过在功能强大的服务器上部署可重用的分布式组件以实现可伸缩
性。
5. 可扩充性：通过动态配置或重新配置网络中分布的应用程序可实现可扩充性。
6. 效率更高，开发周期更短：通过分解大问题，独立组件可以由更小的开发小组
完成。
7. 重用性：分布式组建执行的各种服务有可能由多个客户程序使用，从而有助于
减少各自的开发工作，并提高组件之间的互操作性。
8. 成本更低：采用分布式计算模型，分布式组件一旦开发成功，即可通过网络访
问大量重复使用，因此可以显著降低成本。
基于 SOAP 的多机群网格通信模型研究与实现
6
§2.1 分布式环境下的通信机制
机群计算环境还改变了传统的网络编程方式，传统的网络编程使用 Java、C++
和C之类的编程语言，在网络间提供一些可共享对象，如语意。下边列举几种分
布式环境下的通信机制。
§2.1.1 客户端－服务器端应用程序
早期占支配地位的分布式应用程序体系结构是双层的业务应用程序。在双层
体系结构模型中，第一层处理用户应用程序的表示方案（presentation）和业务逻辑，
第二层处理应用程序的组织及其数据库体系。一般来说，客户端/服务器端应用程
序中服务器是一个数据服务器，主要负责组织和检索数据。而该模型中的客户程
序则负责大部分的业务处理和提供应用程序的图形应用界面。在用户界面和业务
逻辑于数据库服务器紧密结合以进行数据检索和处理的业务应用程序中。这种模
型是很受欢迎的一种设计理念。例如，客户端－服务器模型在 ERP、结算报表应
用程序系统这样驻留在多个桌面系统中的大量客户业务应用程序于中心数据库服
务器交互的环境中得到广泛的应用。
同时，客户端－服务器端应用程序模型的一些常见的局限：
1. 客户端的复杂业务处理需要健壮的客户程序系统。
2. 安全性更难实现，因为算法和逻辑位于客户端，所以更容易受攻击。
3. 需要增加网络带宽，以便保证对服务器的大量调用的畅通，而这也对可伸缩性
造成了一定限制。
4. 客户程序的维护和升级相当麻烦，因为需要对每个客户端进行独立维护。
5. 客户端－服务器体系主要适合面向数据库的独立应用程序，但不适合健壮的，
可重用的面向组件的应用程序。
§2.1.2 通用对象代理体系结构
通用对象代理(CORBA)[15-18]是object management group 最初开发的、为业界通
用的一种开放标准，用于支持丰富的开发环境的分布式计算。OMG 是一个负责为
分布式和共同操作的、面向对象的系统制定和维护架构规范的非盈利性联盟。
CORBA 与传统的客户端/服务器模型不同，他提供了一种无需强制使用任何专有
协议或特殊编程语言、操作系统或平台的、面向对象的解决方案。采用 CORBA，
应用程序可以在网络任何位置的任一硬件平台上驻留和运行，可以以任何与
interface definition language（接口定义语言）的中立接口定义相映射的语言编写。
摘要：

I摘要随着信息技术的发展，人们对计算资源的需求日益膨胀，海量数据正在出现在各行各业。这些数据包含着各种对人类社会有用的信息，如何对这些海量数据进行管理与利用成为了一个摆在信息行业界的问题。对海量数据的处理客观上要求巨大的计算能力和存储能力。随着海量数据的数据量不断扩大，传统的超级计算机不能提供充足的计算能力，并且其高昂的价格不适合处理海量数据。于是出现了采用计算机机群处理海量数据的趋势。为了更充分利用网络上闲置的计算资源，又出现了网格计算的计算模式。网格计算环境是并行的、资源分布的、异构和动态的。虽然在局域网环境下的通信机制已经发展得比较完善，如支持并行通信的MPI还有支持异构环境的通信机制如...

展开>> 收起<<
基于SOAP的多机群网格通信模型研究与实现.pdf

共87页,预览9页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：陈辉 分类：高等教育资料 价格：15积分 属性：87 页 大小：1.57MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 87
评分 收藏
分享
立即下载 VIP免费下载
客服
关注