基于P2P网络资源搜索的研究与实现

VIP免费
3.0 牛悦 2024-11-19 5 4 4.06MB 77 页 15积分
侵权投诉
摘 要
随着互联网的飞速发展，人们享受着丰富的网络资源，但能够满足
用户个性化需求的网络服务非常匮乏。于是，产生了庞大的数字化网络
信息与有限的获取所需信息能力的尖锐矛盾，并且随着网络及其资源的
急速膨胀而日益突出。目前流行的 Peer-to-Peer(P2P)网络搜索技术在一
定 程 度 上 解决 了这 个 矛 盾， 但 仍 存在 一 些 亟待 解决 的 问 题， 诸 如 如何 在
P2P 网 络 中 进 行 高 效的 消 息 路由 、如 何 提 高 网络 可扩 展 性 、如 何 解 决 P2P
网络带宽吞噬等问题，这些问题解决的好坏直接影响 P2P 应 用 的 有 效 性
和P2P 技 术 的 进 一步 发 展 。
首先本文在分析几种典型的对等网络应用系统的结构和性能的基础
上提出了一种新型的 P2P 分 布 式 文 件 共 享 系 统 应 用 的 系 统 架 构
——IP-P2P，并且针对 IP-P2P 网络结构，提出了基于双向定位的数据定
位算法 BIRChord。 它 以 IP-P2P 的系统架构和散列函数为基础，克服了
P2P 网络系统存在的单点失效、广播泛洪、DHT 迁移等问题，从而获得
良好的系统稳定性和查询高效性。文章详细阐述了基于双向定位的数据
定 位 算 法 BIRChord 的 资 源定 位 模 式，并 通 过 测 试证 明了 BIRChord 比 传
统Chord 算 法 具 有 更高 的 路 由效 率 。
其 次 ， 文 章 提 出了 P2P 分布式文件共享系统的资源索引管理技术。
IP-P2P 中 的 资 源 索 引 管理 包 括 普 通节 点管 理 、 索 引 节点 管 理 两 个 部分 ，
它 们 是 基 于双 向定 位 的 数据 定 位 算法 BIRChord 的 ，而 资 源 ID 和 资 源 描
述 文 档 则 是 IP-P2P 系 统 资 源 索引 管 理 的 基 本 要 素。普 通 节 点 的资 源 索 引
管理的任务是解析共享资源，形成资源索引文档并向请求节点提供应用
服务；索引节点的资源管理主要是维护资源索引目录，向节点提供查询
服 务 。
再 次 ， 针 对 P2P 分布式文件共享系统的资源索引管理技术，本文设
计了一套资源查询机制。为了提供查询的高效性和可靠性，该机制提供
两 种 查 询 模式 ——简 单 XP 查 询 和 复 杂 XP 查 询 。
最 后 本 文 通过 对 基 于 IP-P2P 校 园 网 资 源 共 享平 台 的 性 能 测 试 证明 了
基于双向定位的数据定位算法 BIRChord 的IP-P2P 分布式文件共享系统
能 够 适 应 P2P 网 络 的 特 点 ， 提供 高 效 、 稳 定 的 服务 。
关键字：对等网络 文件共享 资源定位 结构化网络模型
ABSTRACT
With the rapid development of Internet, people have enjoyed a rich
network of resources, but to meet the personalized needs of users of
network services is very important lack. So it has been a huge number of
network information and the limited ability to obtain the required
information of extreme contradictions, and with the network and its
resources, the rapid expansion and increasingly prominent. At present, the
popular searching technology of P2P network resolved the contradiction to
some extent, but there are still some issues requiring urgent solution, such
as how to conduct efficient message routing, how to improve network
scalability, how to solve the P2P network bandwidth issues such as
phagocytosis. To resolve these issues is a direct impact on the effectiveness
of P2P applications and the further development of P2P technology.
At first, this paper advance a new network structure—IP-P2P for P2P
resource sharing system by analysing the architecture and performance of
several typical P2P application. And the paper advance a new mode based
on a bidirectional routing mechanism algorithm BIRChord puts forward,
which is based on the IP-P2P architecture and hash function. The resource
locating mode based on BIRChord can resolve some problems in the
intrinsic modes such as unique-point-disabled, broadcast flooding and DHT
moving. In this paper, we especially expound the way it uses to control the
move of DHT. We proved the mechanism algorithm BIRChord can provide
more efficiently routing effect than algorithm Chord by testing.
Second, the resources indexing management of system distributed P2P
resource sharing system is introduced in the paper. The index management
includes two essential elements: RID and resource description document, it
is the base of the resources locating mode based on BIRChord.It manages 3
parts, normal nodes, super nodes, and the server. And each part has some
especial function.
Third, the paper designs a query mechanism for the indexing
management technology. It includes of simple SN query mode，complex SN
query mode. Now we can have an efficiently and credibility query in the
IP-P2P system.
At last of the paper, we proved the model of IP-P2P based on
bidirectional routing mechanism algorithm BIRChord can provide the
efficiently and stable service for P2P network by testing the P2P resource
sharing system.
Key Word ：Peer-to-Peer Network, files sharing, resource
location, Structured P2P System
目 录
摘 要
ABSTRACT
第 一 章 绪 论 ...........................................................................................................1
§1.1 课 题 研 究 背 景 ............................................................................................. 1
§1.2 研 究 现 状 和 存 在的 问 题 ........................................................................... 2
§1.3 本 文 的 主 要 工 作 .........................................................................................4
§1.4 论 文 结 构 ...................................................................................................... 5
第 二 章 P2P 技 术 概 述 ................................................................................................ 6
§2.1 因 特 网 的 发 展 和 P2P 的 演 变 ..................................................................6
§2.1.1 早 期 的 因 特网 就 是 P2P(1969-1995) ..........................................6
§2.1.2 因 特 网 大 爆炸 时 期 的 网 络 模 型 (1995-1999) ........................... 7
§2.1.3 P2P 应 用 重新 出 现 在 因 特 网 上 (2000- ) .....................................7
§2.2 P2P 网 络 的 分 类 .......................................................................................... 8
§2.2.1 非 结 构 化 P2P 系统 ........................................................................ 8
§2.2.2 结 构 化 P2P 系 统 ...........................................................................11
§2.3 本 章 小 结 ....................................................................................................16
第 三 章 分 布 式 文 件共 享 系 统 网 络 模 型设 计 .....................................................17
§3.1 设 计 目 标 ....................................................................................................17
§3.2 模 型 结 构 ....................................................................................................17
§3.2.1 索 引 网 络 ........................................................................................ 18
§3.2.2 索 引 对 等 点 XP ............................................................................. 18
§3.2.3 普 通 对 等 点 CP ............................................................................. 19
§3.3 IP-P2P 结 构 特 点 .......................................................................................19
§3.4 本 章 小 结 ....................................................................................................21
第 四 章 分 布 式 文 件共 享 系 统 资 源 定 位 及查 询 算 法 设 计 .............................. 22
§4.1 分 布 式 文 件 共 享系 统 网 络 资 源 定 位算 法 设 计 ..................................22
§4.1.1 Chord 算 法 分 析 ............................................................................. 22
§4.1.2 基 于 双 向 定位 的 P2P 数 据 定 位 算 法 BIRChord ...................25
§4.1.3 性 能 测 试 ........................................................................................ 36
§4.2 分 布 式 文 件 共 享系 统 资 源 索 引 管 理机 制 设 计 ..................................40
§4.2.1 本 地 资 源 索引 管 理 ........................................................................40
§4.2.2 索 引 节 点 的资 源 索 引 管 理 .......................................................... 44
§4.3 分 布 式 文 件 共 享系 统 索 引 查 询 机 制设 计 ......................................... 48
§4.3.1 资 源 搜 索 机制 ............................................................................... 48
§4.3.2 资 源 搜 索 流程 ............................................................................... 50
§4.4 本 章 小 结 ....................................................................................................52
第 五 章 分 布 式 文 件共 享 系 统 应 用 .......................................................................53
§5.1 建 立 基 于 IP-P2P 校 园 网 资 源 共 享平 台 的 必 要 性 .......................... 53
§5.1.1 校 园 网 的 特点 ............................................................................... 53
§5.1.2 校 园 网 资 源共 享 存 在 的 问 题 .................................................... 54
§5.2 设 计 目 标 ....................................................................................................54
§5.3 系 统 设 计 ....................................................................................................55
§5.3.1 用 户 界 面 模块 ............................................................................... 56
§5.3.2 P2P 网 络 模块 ................................................................................. 57
§5.3.3 共 享 文 件 处理 模 块 ...................................................................... 60
§5.3.4 文 件 传 输 模块 ............................................................................... 61
§5.3.5 散 列 算 法 模块 ............................................................................... 63
§5.3.6 底 层 传 输 模块 ............................................................................... 63
§5.4 系 统 测 试 ....................................................................................................64
§5.5 本 章 小 结 ....................................................................................................67
第 六 章 结 束 语 ...........................................................................................................68
参 考 文 献 ...................................................................................................................... 69
在 读 期 间 公开 发 表 的 论 文 和 承担 科 研 项 目 及 取 得成 果 .................................73
致 谢 ...........................................................................................................................74
第一章 绪 论
1
第一章 绪 论
§1.1 课题研究背 景
随 着 各 类 数 字 终 端 、 服 务 器 、 网 络 带 宽 等 资 源 持 续 保 持 类 摩 尔 定 律
式的增长，通过更直接的共享方式来提高沟通效率，减少资源浪费并保
障信息服务安全将为信息社会带来新一轮的发展高潮【1】。 随 着 网 络 规 模
越来越大，连入网络中的设备以及计算单元的数量和种类也越来越多，
然而这些设备以及计算单元并没有得到充分的利用，如果能够将这些设
备以及计算单元的处理器计算能力、磁盘存储能力以及网络带宽等资源
进行充分利用将会有效缓解目前互联网所面临的一些问题。
Peer-to-Peer(P2P)网 络 技 术 正 是 这种 新 共 享 方 式 的 主要 候 选 者 之 一 ， 其
主要目的就是充分利用互联网中所蕴含的潜在资源[2 ][ 3] 。 在 P2P网 络 中 ，
各个节点都是逻辑对等的，与目前互联网上比较流行的客户/服务器
(Client/Sever)计 算 模 式 不同 的 是 ：P2P计 算 模 式 中 不 再区 别 服 务 器 (Server)
以 及 客 户 (Client) ，系统中的各个节点兼备两者功能，被称为对等机
(Servent)。就目前发展状况而言，P2P技术为服务共享、分布式计算和信
息 交 流 提 供了 更 灵 活 高 效 的 模式 ， 也 为 信 息 技术 的 发 展 带 来 了 新的 挑 战 。
自1999年 以 来 ，Peer-to-Peer( P2P)网 络 模 式 就 逐 渐成 为 了 研 究 和 应 用
的 热 点 。其 实 ，如 果 我们 回 顾 一 下 历 史 ，我 们 会 发 现 在 WWW刚 刚 出 现 时 ，
P2P就 是 互 联 网的 本 质 特 征 之 一 。人 们 各 自 建立 网 页 、互 相 做 链 接，而 上
网是沿着链接冲浪。但是正是受制于当时互联网的低网络带宽和端计算
的弱能力，当Yahoo和Lycos 建立了搜索引擎和门户站点后，人们的上网
方式改变了，人们总是到一个地方去获取所有信息。基于Client/Server计
算模式的网络应用模式被确立并成为其后主导Internet长 达 20年的主流技
术 。但 在 最 近 两、 三年 内 ，情 况 发 生 了 变 化。 P2P网 络 技 术 得 到 了飞 速 的
发 展 :使 用 P2P网络技术进行MP3音乐文件交换服务的Napster公司在一年
之 内 就 发 展了 6000万 个 注 册 用 户 ；用 于 太空 射 电 信 号 分 析 的大 规 模 P2P计
算 网 络 SETI@Home[5 ] 目 前 已 经 拥 有 1,000,000自 愿 者 (计 算 节点 )；即 时 消 息
通 信 (Instant Message, IM)系 统 QQ仅在中国用户量已经超过几亿人次，并
仍 在 不 断 增加 。在 P2P网 络 技 术 的推 动 下 ，互 联 网 的 信 息 存储 模 式 将 由 现
基于 P2P 网络资源搜索的研究与实现
2
在的“内容位于中心”模式逐渐转变为“内容位于边缘”模式。P2P引 导
网络计算模式从集中式向分布式偏移，也就是说网络应用的核心从中央
服务器向网络边缘的终端设备扩散。这使得人们在Internet上 的 共 享 行 为
被 提 到 了 一个 更 高 的 层 次 。是 人 们 以 更 主 动的 方 式 参 与 到 网 络活 动 中 去 。
所有的这些将有效地均衡网络负载，充分利用网络带宽，挖掘网络中所
有空闲主机的计算能力，有效地提高信息查询与搜索的效率，从而彻底
改 变 人 们 发布 与 获 取 了 言 息 的方 式 。因 此 ，P2P网 络 技 术 研究 成 为 了 目 前
流行于国际计算机网络技术研究领域的一个热点，并被《财富》杂志誉
为将改观因特网未来的四大新技术之一，拥有广阔的市场应用前景。由
于P2P计 算 模 式 所 具 有的 特 点 ，很多 著 名 的 公 司 、研 究 机 构 (包 括 Intel, Sun
Microsystems, Microsoft, MIT 等)都认为其蕴含着巨大的商业和技术潜在
价 值 ， 并 开始 从 不 同 的 角 度 应用 和 研 究 这 种 技 术【6】。
§1.2 研究现状和存在的问题
国 外 ， 对 P2P研究起步较早，并且提出了一些P2P网 络 模 型 ， 如 ： 以
Napster，Gnutella，CAN ，CHORD ，Pastry，Tapestry 等。在这些网络模
型的基础上，开发了如：文件共享、分布式数据存储、数据管理、数据
集成等等应用系统。Sun 公司以Java 技术为背景，开展了JXTA 项目；
Microsoft公司成立了Pastry项目组，主要负责P2P计算技术的研究和开发
工 作 。现 在 ，国 际 上 对 基于 P2P的 数 据 管 理 和 分 布 式数 据 库 处 于 研 究 起步
阶 段 ， 如 基 于 sun 公 司 的 P2P 开 发 平 台 的 EDUTELLA[1 4] ， 伯 克 利 大 学 的
PIER[7]系 统 等 等 提供 了 对 复 杂 数 据 的管 理 。
我 国 对 P2P 研究起步较晚，例如北京大学网络实验室开发了Maze 系
统，主要应用是文件共享；清华大学开发的Granary分布式存储系统。可
以 看 出 我 国对 P2P领 域 的 研 究 和 国外 相 比 有 一 定 的 差距 。我 们 的 课 题 目 标
是 利 用 P2P网 络 作 为 基 础 网络 模 型 ，来研 究 复 杂 数 据 的 在 Internet广 域 网 中
的 管 理 问 题， 该 领 域 具 有 较 高的 科 研 价 值 和 应 用前 景 。
以 上 所 介 绍的 各 种 网 络 模 型 ，都 针 对性 地 解 决 了 P2P路 由 技 术 中某 几
方 面 的 问 题，但 也 含 有 其 无 法避 免 的 先 天 缺 陷 。随 着 P2P网 络 技 术 的 不 断
发展以及网络用户呈几何级数的增加，对当前的Internet架构产生了巨大
的 冲 击 ，各 种 网络 模 型 中 所 存 在 的问 题 己 经 成 为 阻 碍 P2P网 络 技 术 进 一 步
第一章 绪 论
3
发 展 的 一 个障 碍 。 P2P网 络 技 术 中主 要 存 在 如 下 问 题 :
（ 1） 路 由 网 络 模型 构 造 与 可 扩 展 性
可 扩 展 性 问题 一 直 以 来 是 困 扰P2P研 究 人 员 的大 问 题 。主 流 模 型 中 无
论是集中式路由网络模型还是非结构化路由网络模型都受到严重的困
扰。我们以目前应用最广泛的Gnutella路由网络模型为例，Gnutella网 络
中的节点在搜寻数据时是以泛洪(flooding)的方式将消息散布在网络上，
这 会 造 成 消息 泛 滥 的 问 题 ，也 使 得 系 统的 可 扩 展 性 (Scalability)无 法 提 升 ，
并 加 重 了 网络 的 负 荷 。根 据 Clip2公 司 的 一 项 研 究显 示 ，56k调 制 解 调 器用
户 在 一 秒 之 内 最 多 处 理 20个查询消息。当网络节点个数超过1000以 后 ，
这个处理极限很轻易地就被突破了，随着这部分节点的失效，将会导致
Gnutella网 络 被 分 片 ，使 得 查 询 访 问 只能 在 网 络 的 很 小 的一 部 分 进 行 ， 从
而 导 致 网 络的 可 扩 展 性 较 差 。
（2）P2P覆 盖 层 网 络 与 底层 网 络 物 理 拓 扑 结构 的 差 异 问 题
同样，以Gnutella 为例说明这个问题。在Gnutella 路由网络模型中经
常 会 出 现 一条 Gnutella消 息 多 次 在同 一 条 链 路 上 反 复传 递 的 情 况 ， 从而 导
致网络路由效率低下，造成大量不必要的带宽损耗。这种情况产生的根
本原因在于Gnutella 网络逻辑拓扑结构和网络底层实际拓扑存在严重差
异性。同样的问题也存在于其他的路由网络模型中。比如说，结构化路
由网络模型Chord中 的 绕 路 (Detouring)问题，就是由于该系统通过哈希算
法所设计的映射方法，导致了在哈希环域中非常邻近的两个节点却有可
能在实际网络拓扑中相距很远；而在实际网络中相距很远的节点经过哈
希算法映射却可能成为哈希环中非常邻近的两点，从而导致路由效率的
低 下 。
（ 3） P2P网 络 管 理 问 题
P2P网 络 的 精 髓在 于 其 “乌 托 邦 ”式 的 管理 方 式 ， 这 种 方 式 给了 用 户 更
多 的 自 由 ，但 是 这 也 陷入 了 “无 政 府 主 义 ”的困 境 。可以 想 象 ，缺 乏 管理 的
P2P网络将会成为病毒、色情内容以及非法交易的温床。许多P2P公 司 打
算 通 过 P2P网 络 开 展 电 子 商务 ，但 是 计 费 问 题 、流 量 计 算 、商 品 价 值 的验
证 等 等 都 是一 时 很 难 克 服 的 困难 。
针 对 这 些 问 题 ， 国 内 外 的 研 究 者 们 投 入 了 大 量 的 人 力 和 物 力 进 行 研
究 ， 近 年 来产 生 了 许 多 针 对 性地 解 决 方 案 。
HARM（Hierarchical Aggregation P2P Network Routing Model） 就 是
通过引入基于网络实际拓扑的网络分层和组群划分机制，对Internet中 所
摘要：

摘要随着互联网的飞速发展，人们享受着丰富的网络资源，但能够满足用户个性化需求的网络服务非常匮乏。于是，产生了庞大的数字化网络信息与有限的获取所需信息能力的尖锐矛盾，并且随着网络及其资源的急速膨胀而日益突出。目前流行的Peer-to-Peer(P2P)网络搜索技术在一定程度上解决了这个矛盾，但仍存在一些亟待解决的问题，诸如如何在P2P网络中进行高效的消息路由、如何提高网络可扩展性、如何解决P2P网络带宽吞噬等问题，这些问题解决的好坏直接影响P2P应用的有效性和P2P技术的进一步发展。首先本文在分析几种典型的对等网络应用系统的结构和性能的基础上提出了一种新型的P2P分布式文件共享系统应用的系统架构...

展开>> 收起<<
基于P2P网络资源搜索的研究与实现.pdf

共77页,预览8页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：77 页 大小：4.06MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 77
评分 收藏
分享
立即下载 VIP免费下载
客服
关注