USST_Arts_112400446 云环境下基于拜占庭容错模型的节点失效检测机制研究及应用

VIP免费

3.0 牛悦 2024-11-11 4 4 2.36MB 51 页 15积分

侵权投诉

摘要

在云环境下，大量的服务器集群使得节点失效和节点超时不可避免，这往往

会降低系统的可靠性。因此，如何处理节点失效和超时，提高云计算系统的容错

能力，是云计算学术研究中的一个热点。随着互联网技术不断发展，云计算技术

逐渐由理论研究转换为实际的应用，云计算企业设计的云服务系统需要能够实现

最大限度的可靠性，并确保在发生服务故障时尽量减少对客户的影响。本文主要

研究工作如下：

首先，分析了课题的研究背景，对云计算技术、容错计算技术以及 ETL 技术

等核心技术的国内外研究现状进行了研究，并且对云计算技术、容错计算技术、

商业智能、ETL 以及 Hadoop 等技术做了相关的研究。

其次，针对云计算系统的可靠性问题，设计了云环境下基于拜占庭容错模型

的节点失效检测机制。当云环境系统中发生节点失效或者节点超时，利用设计的

拜占庭容错算法，自动检测出系统的失效节点并且隔离，提高了系统的检测精度。

算法通过构造节点矩阵检测出失效节点。仿真实验表明，该模型能够有效的隔离

云环境中失效节点和超时节点，大大提高了系统的可靠性。该模型还提供了反向

恢复，当所有节点通过拜占庭容错模块，若失效节点数大于总节点数的 1/3，系

统将反向恢复到输入缓冲器。

最后，结合云计算的软件即服务模式，分析和研究了上海某计算机公司开发

的商业智能分析软件，设计了云环境下基于 ETL 的拜占庭容错模型，搭建主从

节点集群，设计基于 ETL 的拜占庭容错模型的流程图和算法实现，当该 ETL 模

型中某台服务器发生节点失效或者节点超时，数据加载到主服务器，模型中拜占

庭容错算法能够检测出私有云中失效节点，模型中时间计算模块能够检测出私有

云中超时节点，整个系统提高了 ETL 的可靠性和检测精度。

关键词：云计算容错商业智能 ETL Hadoop

ABSTRACT

In a cloud environment, the node failure and node timeout of a large number of

server cluster makes inevitable, which tends to reduce the reliability of the system.

Therefore, that how to deal with node failure and improve fault tolerance in the cloud

computing system is a hot academic research. This means that companies need to be

able to design the service system to achieve maximum reliability, and ensure that

minimize the impact on the customer in the event of service failure. The main research

work is as follows:

Firstly, analyze the research background of the topic and research status at home

and abroad of computing technology, fault tolerant computing technology and ETL

technology, then research the cloud computing technology, fault tolerant technology,

business intelligence, ETL and Hadoop technology.

Secondly, based on the reliability of cloud computing systems, the paper designs

the Byzantine fault-tolerant mode. When the cloud system occurs node failure or node

timeout, the system automatically detects the failed node and isolation by using the

designed byzantine fault tolerance algorithm. It can effectively improve system

reliability. By constructing a matrix node failure and detecting the integration of the

Byzantine tradition in both cases, simplify the complex situations. When the value of

the system parameter set is too large or too small, the system can adaptively adjust the

parameters. By building a virtual cloud environment, the experimental results show that

the model can effectively isolate the cloud node failure or node timeout problems,

greatly improving the reliability of the system. The model also provides the reverse

recovery if the total number of failure nodes is greater than the 1/3 number of nodes, the

system will return to the reverse input buffer.

Finally, according to the cloud computing software as a service model, analysis and

study the business intelligence analysis software which developed by a Shanghai

computer company. The Byzantine fault tolerant model based on ETL is designed under

the cloud environment, which has built the master-slave node cluster and has

designed flow chart and algorithm. When a server node happens failure or node timeout

of the ETL model, the data is loaded into the master server, and the model of Byzantine

fault tolerant algorithm can detect the node failure in the private cloud. The Time

Calculation Module can detect a private cloud time out node, improving the reliability

of the ETL of the whole system and the detection precision.

Key Word：Cloud computing, Fault tolerance, Business Intelligence,

ETL, Hadoop

中文摘要

ABSTRACT

第一章绪论 .................................................................................................................... 1

1.1 研究背景 ............................................................................................................... 1

1.2 相关技术研究现状 .............................................................................................. 1

1.2.1 云计算技术国内外研究现状 ...................................................................... 1

1.2.2 容错计算技术国内外研究现状 .................................................................. 2

1.2.3 ETL 技术国内外研究现状 ........................................................................... 4

1.3 研究的主要内容和意义 ...................................................................................... 5

1.3.1 研究的主要内容 ........................................................................................... 5

1.3.2 研究的意义 ................................................................................................... 5

1.4 论文组织结构....................................................................................................... 6

第二章云环境下容错计算相关技术研究 .................................................................... 7

2.1 引言 ....................................................................................................................... 7

2.2 云计算 ................................................................................................................... 7

2.3 容错技术 ............................................................................................................... 9

2.4 商业智能（BI） .................................................................................................. 9

2.5 ETL ....................................................................................................................... 10

2.6 Hadoop ................................................................................................................. 11

2.7 本章小结 ............................................................................................................. 13

第三章云环境下基于拜占庭容错模型的节点失效检测机制研究 ........................ 14

3.1 引言 ..................................................................................................................... 14

3.2 拜占庭容错模型设计 ........................................................................................ 14

3.3 节点失效检测算法实现 .................................................................................... 16

3.4 平台搭建 ............................................................................................................. 20

3.4.1 仿真平台搭建 ........................................................................................... 20

3.4.2 实验结果分析 ........................................................................................... 20

3.5 本章小结 ............................................................................................................. 24

第四章云环境下基于 ETL 的拜占庭容错模型研究 ................................................ 26

4.1 引言 ..................................................................................................................... 26

4.2 ETL 容错模型流程图 ......................................................................................... 27

4.3 ETL 主从节点集群部署..................................................................................... 29

4.4 ETL 容错模型流程设计..................................................................................... 32

4.5 ETL 容错模型算法实现..................................................................................... 34

4.6 ETL 容错模型测试数据分析 ............................................................................ 37

4.7本章小结 .............................................................................................................. 40

第五章总结与展望 ........................................................................................................ 41

5.1 论文工作总结..................................................................................................... 41

5.2 后续工作展望..................................................................................................... 41

参考文献 .......................................................................................................................... 43

在读期间公开发表的论文和承担科研项目及取得成果 ........................................... 47

致谢…………………………………………………………………………………48

第一章绪论

1.1 研究背景

随着互联网技术的不断发展，目前世界各国的云计算市场高速增长，信息产业

发达的国家和地区给予了高度重视，已把云计算作为未来发展战略的重点。许多

国家已经研发云计算发展战略规划，加快云计算基础设施的部署和云计算应用的

推动，抢占云计算第一市场。中国的国民经济和社会发展的“十二五”计划，将

以云计算发展为代表的新一代信息技术产业作为战略性新兴产业。加快云计算产

业的发展，将大大加快传统产业的转型升级和新兴产业的加速发展。随着云计算

基础设施的大量部署，云计算系统的高可用性和容错性得到了大家越来越高的重

视[1-5]。

目前，无论是学术性的研究还是企业商业应用的云计算容错机制，它们存在以

下诸多缺陷：

第一，目前大多数的云计算是通过对数据的备份或者是日志的下载来实现系统

的容错，这些都不能从本质上提高系统的容错能力，例如针对节点失效等问题，

没有非常有效的解决方案，因此很难保证系统的可靠性。

第二，搭建云环境不仅需要价格昂贵的虚拟机，而且很多都是采用集群式的架

构。企业往往将程序运行在一个节点上，这样只能通过昂贵的高性能服务器才能

保证企业提供给客户可靠有效的服务。然而，昂贵的服务器必然会提高企业的成

本。2010 年1月，Heroku 公司的 AmarzonEC2 系统上的虚拟机发生了故障，导致

企业 44000 个应用程序无法正常工作。2011 年4月，AmarzonEBS 平台发生了故

障，整个系统停机将近 12 小时，故障持续 5天才得以解决。因此，虽然多数云计

算的系统对应用层面做了容错设计，但是对于客户不同的云服务质量要求，仍然

需要更高级别的高可用性的虚拟机。

第三，大多数的云计算容错产品其兼容性、可扩展性和开放性有限。企业想要

实现自己的云计算容错系统，那么编程人员需要从零开始开发，如果要开发高性

能和高分布式的系统，任务会更加繁重[6-9]。

1.2 相关技术研究现状

1.2.1 云计算技术国内外研究现状

云计算是网格计算、分布式计算、虚拟化、并行计算、效用计算、负载均衡、

网络存储等传统网络技术和计算机技术发展和融合的产物[10-11]。目前，云计算中

主要涉及的技术有虚拟化技术、分布式海量数据存储、海量数据管理技术、编程

方式、云计算平台管理技术。

虚拟化技术是指计算元件不是运行在真实的基础上而是运行在虚拟的基础上，

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要在云环境下，大量的服务器集群使得节点失效和节点超时不可避免，这往往会降低系统的可靠性。因此，如何处理节点失效和超时，提高云计算系统的容错能力，是云计算学术研究中的一个热点。随着互联网技术不断发展，云计算技术逐渐由理论研究转换为实际的应用，云计算企业设计的云服务系统需要能够实现最大限度的可靠性，并确保在发生服务故障时尽量减少对客户的影响。本文主要研究工作如下：首先，分析了课题的研究背景，对云计算技术、容错计算技术以及ETL技术等核心技术的国内外研究现状进行了研究，并且对云计算技术、容错计算技术、商业智能、ETL以及Hadoop等技术做了相关的研究。其次，针对云计算系统的可靠性问题，设计了云环...

展开>> 收起<<

USST_Arts_112400446 云环境下基于拜占庭容错模型的节点失效检测机制研究及应用.pdf

共51页,预览6页

还剩页未读，继续阅读

USST_Arts_112400446 云环境下基于拜占庭容错模型的节点失效检测机制研究及应用

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: