基于IS-P2P结构的分布式数据共享系统研究

VIP免费

3.0 陈辉 2024-11-19 7 4 4.05MB 77 页 15积分

侵权投诉

摘要

Peer-to-Peer(P2P)网络技术是目前国际计算机网络技术领域的一个研

究热点，其主要目的就是充分利用互联网中所蕴含的潜在资源。而 P2P路

由网络模型研究则一直是 P2P网络技术研究的一个重要组成部分。如何在

P2P网络中进行高效的消息路由是提高网络可扩展性、解决P2P网络带宽

吞噬问题的关键所在，这些问题解决的好坏直接影响 P2P应用的有效性和

P2P技术的进一步发展。

首先本文在分析几种典型的对等网络应用系统的结构和性能的基础

上提出了一种新型的 P2P 分布式文件共享系统应用的系统架构

——IS-P2P，并且针对 IS-P2P网络结构，提出了基于双向定位的数据定位

算法 BIRChord。它以 IS-P2P的系统架构和散列函数为基础，克服了 P2P网

络系统存在的单点失效、广播泛洪、DHT迁移等问题，从而获得良好的系

统稳定性和查询高效性。文章详细阐述了基于双向定位的数据定位算法

BIRChord的资源定位模式，并通过测试证明了 BIRChord比传统 Chord算法

具有更高的路由效率。

其次，文章提出了 P2P 分布式文件共享系统的资源索引管理技术。

IS-P2P中的资源索引管理包括普通节点管理、索引节点管理两个部分，它

们是基于双向定位的数据定位算法BIRChord的，而资源ID和资源描述文

档则是 IS-P2P系统资源索引管理的基本要素。普通节点的资源索引管理的

任务是解析共享资源，形成资源索引文档并向请求节点提供应用服务；

索引节点的资源管理主要是维护资源索引目录，向节点提供查询服务。

再次，针对 P2P分布式文件共享系统的资源索引管理技术，本文设计

了一套资源查询机制。为了提供查询的高效性和可靠性，该机制提供两

种查询模式——简单 XP查讯和复杂 XP查讯。

最后本文通过对基于IS-P2P 校园网资源共享平台的性能测试证明了

基于双向定位的数据定位算法BIRChord 的IS-P2P 分布式文件共享系统能

够适应 P2P网络的特点，提供高效、稳定的服务。

关键字：对等网络，文件共享，资源定位，结构化网络模型

ABSTRACT

Peer-to-Peer network technology currently is a hotspot in the

international computer network researching field. The main purpose is to

fully utilize the potential resources of interest, which includes computing

resources, storage resources and file resources, etc. The study of P2P

routing network model is always an important component in the research of

P2P network. How to route efficiently in P2P network is the key to improve

network scalability and resolve the network bandwidth consuming problem.

Whether these problems can be solved will directly affect the efficiency of

P2P applications and the further development of P2P technology.

At first, This paper advance a new network structure—IS-P2P for P2P

resource sharing system by analysing the architecture and performance of

several typical P2P application. And the paper advance a new mode based

on a bidirectional routing mechanism algorithm BIRChord puts forward,

which is based on the IS-P2P architecture and hash function. The resource

locating mode based on BIRChord can resolve some problems in the

intrinsic modes such as unique-point-disabled, broadcast flooding and DHT

moving. In this paper, we especially expound the way it uses to control the

move of DHT. We proved the mechanism algorithm BIRChord can provide

more efficiently routing effect than algorithm Chord by testing.

Second, the resources indexing management of system distributed P2P

resource sharing system is introduced in the paper. The index management

includes two essential elements: RID and resource description document, it

is the base of the resources locating mode based on BIRChord.It manages 3

parts, normal nodes, super nodes, and the server. And each part has some

especial function.

Third, the paper designs a query mechanism for the indexing

management technology. It includes of simple SN query mode，complex SN

query mode. Now we can have a efficiently and credibility query in the

IS-P2P system.

At last of the paper, we proved the model of IS-P2P based on

bidirectional routing mechanism algorithm BIRChord can provide the

efficiently and stable service for P2P network by testing the P2P resource

sharing system.

KEY WORDS ：Peer-to-Peer Network, files sharing, resource location,

Structured P2P System.

摘要

ABSTRACT

第一章绪论 ...........................................................................................................1

§1.1 课题研究背景 ............................................................................................. 1

§1.2 研究现状和存在的问题 ........................................................................... 2

§1.3 本文的主要工作 .........................................................................................4

§1.4 论文结构 ...................................................................................................... 5

第二章 P2P 技术概述 ................................................................................................ 6

§2.1 因特网的发展和 P2P 的演变 ..................................................................6

§2.1.1 早期的因特网就是 P2P(1969-1995) ..........................................6

§2.1.2 因特网大爆炸时期的网络模型 (1995-1999) ........................... 7

§2.1.3 P2P 应用重新出现在因特网上 (2000- ) .....................................7

§2.2 P2P 网络的分类 .......................................................................................... 8

§2.2.1 非结构化 P2P 系统 ........................................................................ 8

§2.2.2 结构化 P2P 系统 ...........................................................................11

§2.3 本章小结 ....................................................................................................16

第三章分布式文件共享系统网络模型设计 .....................................................17

§3.1 设计目标 ....................................................................................................17

§3.2 模型结构 ....................................................................................................17

§3.2.1 索引网络 ........................................................................................ 18

§3.2.2 索引对等点 XP ............................................................................. 18

§3.2.3 普通对等点 CP ............................................................................. 19

§3.3 IS-P2P 结构特点 .......................................................................................19

§3.4 本章小结 ....................................................................................................21

第四章分布式文件共享系统资源定位及查询算法设计 .............................. 22

§4.1 分布式文件共享系统网络资源定位算法设计 ..................................22

§4.1.1 Chord 算法分析 ............................................................................. 22

§4.1.2 基于双向定位的 P2P 数据定位算法 BIRChord ...................25

§4.1.3 性能测试 ........................................................................................ 36

§4.2 分布式文件共享系统资源索引管理机制设计 ..................................40

§4.2.1 本地资源索引管理 ........................................................................40

§4.2.2 索引节点的资源索引管理 .......................................................... 44

§4.3 分布式文件共享系统索引查询机制设计 ......................................... 48

§4.3.1 资源搜索机制 ............................................................................... 48

§4.3.2 资源搜索流程 ............................................................................... 50

§4.4 本章小结 ....................................................................................................52

第五章分布式文件共享系统应用――基于 IS-P2P 网络的校园网资源共

享平台设计 ..................................................................................................................53

§5.1 建立基于 IS-P2P 校园网资源共享平台的必要性 .......................... 53

§5.1.1 校园网的特点 ............................................................................... 53

§5.1.2 校园网资源共享存在的问题 .................................................... 54

§5.2 设计目标 ....................................................................................................54

§5.3 系统设计 ....................................................................................................55

§5.3.1 用户界面模块 ............................................................................... 56

§5.3.2 P2P 网络模块 ................................................................................. 57

§5.3.3 共享文件处理模块 ...................................................................... 60

§5.3.4 文件传输模块 ............................................................................... 61

§5.3.5 散列算法模块 ............................................................................... 63

§5.3.6 底层传输模块 ............................................................................... 63

§5.4 系统测试 ....................................................................................................64

§5.5 本章小结 ....................................................................................................67

第六章结束语 ...........................................................................................................68

参考文献 ...................................................................................................................... 69

在读期间公开发表的论文和承担科研项目及取得成果 .................................73

致谢 ...........................................................................................................................74

第一章绪论

§1.1 课题研究背景

随着各类数字终端、服务器、网络带宽等资源持续保持类摩尔定律

式的增长，通过更直接的共享方式来提高沟通效率，减少资源浪费并保

障信息服务安全将为信息社会带来新一轮的发展高潮【1】。随着网络规模

越来越大，连入网络中的设备以及计算单元的数量和种类也越来越多，

然而这些设备以及计算单元并没有得到充分的利用，如果能够将这些设

备以及计算单元的处理器计算能力、磁盘存储能力以及网络带宽等资源

进行充分利用将会有效缓解目前互联网所面临的一些问题。

Peer-to-Peer(P2P)网络技术正是这种新共享方式的主要候选者之一，其主

要目的就是充分利用互联网中所蕴含的潜在资源[2 ][ 3] 。在 P2P网络中，各

个节点都是逻辑对等的，与目前互联网上比较流行的客户/服务器

(Client/Sever)计算模式不同的是：P2P计算模式中不再区别服务器 (Server)

以及客户 (Client) ，系统中的各个节点兼备两者功能，被称为对等机

(Servent)。就目前发展状况而言，P2P技术为服务共享、分布式计算和信

息交流提供了更灵活高效的模式，也为信息技术的发展带来了新的挑战。

自1999年以来，Peer-to-Peer( P2P)网络模式就逐渐成为了研究和应用

的热点。其实，如果我们回顾一下历史，我们会发现在 WWW刚刚出现时，

P2P就是互联网的本质特征之一。人们各自建立网页、互相做链接，而上

网是沿着链接冲浪。但是正是受制于当时互联网的低网络带宽和端计算

的弱能力，当Yahoo和Lycos 建立了搜索引擎和门户站点后，人们的上网

方式改变了，人们总是到一个地方去获取所有信息。基于Client/Server计

算模式的网络应用模式被确立并成为其后主导Internet长达 20年的主流技

术。但在最近两、三年内，情况发生了变化。 P2P网络技术得到了飞速的

发展 :使用 P2P网络技术进行MP3音乐文件交换服务的Napster公司在一年

之内就发展了 6000万个注册用户；用于太空射电信号分析的大规模 P2P计

算网络 SETI@Home[5 ] 目前已经拥有 1,000,000自愿者 (计算节点 )；即时消息

通信 (Instant Message, IM)系统 QQ仅在中国用户量已经超过几亿人次，并

仍在不断增加。在 P2P网络技术的推动下，互联网的信息存储模式将由现

基于 IS-P2P 结构的分布式数据共享系统研究

在的“内容位于中心”模式逐渐转变为“内容位于边缘”模式。P2P引导

网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从中央

服务器向网络边缘的终端设备扩散。这使得人们在Internet上的共享行为

被提到了一个更高的层次。是人们以更主动的方式参与到网络活动中去。

所有的这些将有效地均衡网络负载，充分利用网络带宽，挖掘网络中所

有空闲主机的计算能力，有效地提高信息查询与搜索的效率，从而彻底

改变人们发布与获取了言息的方式。因此，P2P网络技术研究成为了目前

流行于国际计算机网络技术研究领域的一个热点，并被《财富》杂志誉

为将改观因特网未来的四大新技术之一，拥有广阔的市场应用前景。由

于P2P计算模式所具有的特点，很多著名的公司、研究机构 (包括 Intel, Sun

Microsystems, Microsoft, MIT 等)都认为其蕴含着巨大的商业和技术潜在

价值，并开始从不同的角度应用和研究这种技术【6】。

§1.2 研究现状和存在的问题

国外，对 P2P研究起步较早，并且提出了一些P2P网络模型，如：以

Napster，Gnutella，CAN ，CHORD，Pastry，Tapestry等。在这些网络模

型的基础上，开发了如：文件共享、分布式数据存储、数据管理、数据

集成等等应用系统。Sun 公司以Java 技术为背景，开展了JXTA 项目；

Microsoft公司成立了Pastry项目组，主要负责P2P计算技术的研究和开发

工作。现在，国际上对基于 P2P的数据管理和分布式数据库处于研究起步

阶段，如基于 sun 公司的 P2P 开发平台的 EDUTELLA[14 ] ，伯克利大学的

PIER[7]系统等等提供了对复杂数据的管理。

我国对 P2P 研究起步较晚，例如北京大学网络实验室开发了Maze 系

统，主要应用是文件共享；清华大学开发的Granary分布式存储系统。可

以看出我国对 P2P领域的研究和国外相比有一定的差距。我们的课题目标

是利用 P2P网络作为基础网络模型，来研究复杂数据的在 Internet广域网中

的管理问题，该领域具有较高的科研价值和应用前景。

以上所介绍的各种网络模型，都针对性地解决了 P2P路由技术中某几

方面的问题，但也含有其无法避免的先天缺陷。随着 P2P网络技术的不断

发展以及网络用户呈几何级数的增加，对当前的Internet架构产生了巨大

的冲击，各种网络模型中所存在的问题己经成为阻碍 P2P网络技术进一步

第一章绪论

发展的一个障碍。 P2P网络技术中主要存在如下问题 :

（ 1）路由网络模型构造与可扩展性

可扩展性问题一直以来是困扰P2P研究人员的大问题。主流模型中无

论是集中式路由网络模型还是非结构化路由网络模型都受到严重的困

扰。我们以目前应用最广泛的Gnutella路由网络模型为例，Gnutella 网络

中的节点在搜寻数据时是以泛洪(flooding)的方式将消息散布在网络上，

这会造成消息泛滥的问题，也使得系统的可扩展性 (Scalability)无法提升，

并加重了网络的负荷。根据 Clip2公司的一项研究显示，56k调制解调器用

户在一秒之内最多处理 20个查询消息。当网络节点个数超过1000以后，

这个处理极限很轻易地就被突破了，随着这部分节点的失效，将会导致

Gnutella网络被分片，使得查询访问只能在网络的很小的一部分进行，从

而导致网络的可扩展性较差。

（2）P2P覆盖层网络与底层网络物理拓扑结构的差异问题

同样，以Gnutella 为例说明这个问题。在Gnutella路由网络模型中经

常会出现一条 Gnutella消息多次在同一条链路上反复传递的情况，从而导

致网络路由效率低下，造成大量不必要的带宽损耗。这种情况产生的根

本原因在于Gnutella 网络逻辑拓扑结构和网络底层实际拓扑存在严重差

异性。同样的问题也存在于其他的路由网络模型中。比如说，结构化路

由网络模型Chord中的绕路 (Detouring)问题，就是由于该系统通过哈希算

法所设计的映射方法，导致了在哈希环域中非常邻近的两个节点却有可

能在实际网络拓扑中相距很远；而在实际网络中相距很远的节点经过哈

希算法映射却可能成为哈希环中非常邻近的两点，从而导致路由效率的

低下。

（ 3） P2P网络管理问题

P2P网络的精髓在于其 “乌托邦 ”式的管理方式，这种方式给了用户更

多的自由，但是这也陷入了 “无政府主义 ”的困境。可以想象，缺乏管理的

P2P网络将会成为病毒、色情内容以及非法交易的温床。许多P2P公司打

算通过 P2P网络开展电子商务，但是计费问题、流量计算、商品价值的验

证等等都是一时很难克服的困难。

针对这些问题，国内外的研究者们投入了大量的人力和物力进行研

究，近年来产生了许多针对性地解决方案。

HARM（Hierarchical Aggregation P2P Network Routing Model）就是

通过引入基于网络实际拓扑的网络分层和组群划分机制，对Internet中所

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要Peer-to-Peer(P2P)网络技术是目前国际计算机网络技术领域的一个研究热点，其主要目的就是充分利用互联网中所蕴含的潜在资源。而P2P路由网络模型研究则一直是P2P网络技术研究的一个重要组成部分。如何在P2P网络中进行高效的消息路由是提高网络可扩展性、解决P2P网络带宽吞噬问题的关键所在，这些问题解决的好坏直接影响P2P应用的有效性和P2P技术的进一步发展。首先本文在分析几种典型的对等网络应用系统的结构和性能的基础上提出了一种新型的P2P分布式文件共享系统应用的系统架构——IS-P2P，并且针对IS-P2P网络结构，提出了基于双向定位的数据定位算法BIRChord。它以IS-P2P...

展开>> 收起<<

基于IS-P2P结构的分布式数据共享系统研究.pdf

共77页,预览8页

还剩页未读，继续阅读

基于IS-P2P结构的分布式数据共享系统研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: