基于Hadoop的面向物联网应用的存储模型研究

VIP免费
3.0 牛悦 2024-11-19 6 4 2.61MB 68 页 15积分
侵权投诉
摘要
随着物联网在中国的展开，信息界面临海量数据存储的问题。无线传感网络
作为物联网末端信息采集工具，分布区域越来越广、规模越来越大，产生的信息
量飞速增长。无线传感网络的数据存储分为内部数据存储和外部应用程序存储，
本文讨论无线传感网络产生的数据的外部应用存储问题。学术界对海量数据存储
进行深入探讨，以 Hadoop 集群为代表的分布式计算技术以及 HBase 存储系统成为
热点。传感器数据类型单一，是按时间序列分布的单列数据，因此 HBase 是适合
无线传感网络的信息存储的。本文根据大规模无线传感网络分布广、异构网络数
目多和传感器数量多的特点，用 Hadoop 构建集群存储管理系统，使用 HBase 分布
式存储传感器数据。主要工作如下：
(1) 为了解决跨区域的数据存储问题，本文设计分级的存储架构模型。
(2) 设计存储模型的逻辑结构，包括全局数据存储管理目录、区域数据存储服务。
(3) 构建了基于 HBase 的数据存储过程和查询过程。
实验表明，该存储系统具有良好的扩展性、存储和查询效率，能够满足大规
模传感器数据的存储问题。
关键字：物联网 无线传感网络 大规模数据 分级存储
ABSTRACT
With the development of The Internet of Things in China, Information industry
faces the problem of massive data storage. Wireless sensor network, which is the data
collection tool of the Internet of Things, spreads more and more widely, expands in the
scale, products the increasing data. Wireless sensor network gets two types of data
storage: internal data storage and external data storage, this paper will discuss the
external data storage from the wireless sensor network. Academia has deeply explored
massive data storage, the most popular is Hadoop, which is distribute computing
technology, and HBase, which is column based storage system. The data from sensors is
single type, order by timestamp. HBase is suitable to store the sensor data. This paper
set up the Hadoop cluster and the HBase cluster to store the sensor data, according to
the wide spread of the large scale wireless sensor network, the large number of
heterogeneous network and sensors. The mainly work is as follows:
(1) To solve the cross-regional data storage, this paper designs a tiered storage architecture model.
(2) Design the logic architecture of storage model, which include global directory data manage
directory, and district data storage server.
(3) Build a data storage procedure and query procedure based on HBase.
Experiments show that, this storage system is scalable, high performance in storing
and query, and able to solve the massive sensor data.
Key word: Internet of Things, wireless sensor network, large-scare
data, tiered storage
目录
摘要
ABSTRACT
目录 .................................................................................................................................. 1
第一章 绪 论 .................................................................................................................. 1
§1.1 研究背景 .......................................................................................................... 1
§1.2 国内外物联网技术概述 ................................................................................. 2
§1.2.1 国内外物联网发展现状 ....................................................................... 2
§1.2.2 我国物联网发展现状 .......................................................................... 3
§1.3 研究意义 ......................................................................................................... 3
§1.4 论文结构 ......................................................................................................... 4
第二章 物联网技术 ........................................................................................................ 5
§2.1 引言 ................................................................................................................. 5
§2.2 物联网的主要特征 .......................................................................................... 5
§2.3 物联网的技术架构 ......................................................................................... 6
§2.4 物联网的关键技术 ......................................................................................... 6
§2.5 大规模无线传感网络 ..................................................................................... 7
§2.6 本章小结 .......................................................................................................... 8
第三章 云计算相关技术 ................................................................................................ 9
§3.1 引言 ................................................................................................................. 9
§3.2 云计算的定义及分类 ..................................................................................... 9
§3.3 云计算服务模式 .............................................................................................. 9
§3.4 云计算应用实例 ............................................................................................. 11
§3.4.1 Google 云计算 ..................................................................................... 11
§3.4.2 Amazon EC2 ........................................................................................ 13
§3.4.3 IBM“蓝云”计算平台 ...................................................................... 14
§3.4.4 华为云计算平台 ................................................................................ 14
§3.4.5 Hadoop 云计算平台 ........................................................................... 15
§3.5 Hadoop 框架介绍 .......................................................................................... 15
§3.5.1 Hadoop 分布式文件系统 ................................................................... 15
§3.5.2 MapReduce 模型分析 ......................................................................... 17
§3.5.3 Chukwa 介绍 ....................................................................................... 19
§3.5.4 HBase 介绍 ......................................................................................... 19
§3.6 本章小结 ....................................................................................................... 22
第四章 基于分级存储架构的方法 .............................................................................. 23
§4.1 引言 ................................................................................................................ 23
§4.2 分级存储模型 ............................................................................................... 24
§4.2.1 存储方式介绍 .................................................................................... 24
§4.2.1 分级存储思想 .................................................................................... 25
§4.2.2 分级存储基本概念 ............................................................................ 26
§4.2.3 分级存储结构 .................................................................................... 26
§4.2.4 分级存储的实现 ................................................................................ 28
§4.3 本章小结 ....................................................................................................... 30
第五章 系统设计 .......................................................................................................... 31
§5.1 引言 ............................................................................................................... 31
§5.2 基于 HBase 的存储模型设计 ...................................................................... 31
§5.2.1 数据类型定义 .................................................................................... 31
§5.2.2 主要功能描述 .................................................................................... 38
§5.3 系统实现 ....................................................................................................... 38
§5.3.1 数据传输与通信机制 ........................................................................ 38
§5.3.2 关键类描述 ........................................................................................ 41
§5.3.3 查询请求服务 .................................................................................... 50
§5.3.4 控制命令发送 .................................................................................... 51
§5.4 本章小结 ....................................................................................................... 52
第六章 实验验证与分析 .............................................................................................. 53
§6.1 实验平台的搭建 ........................................................................................... 53
§6.1.1 实验环境准备 .................................................................................... 53
§6.1.2 Hadoop 平台的运行 ........................................................................... 55
§6.1.3 HBase 平台的运行 ............................................................................. 55
§6.2 HBase 性能测试实验 .................................................................................... 56
§6.3 数据负载能力实验 ....................................................................................... 57
§6.4 IO 型负载实验 ............................................................................................... 58
§6.5 本章小结 ....................................................................................................... 59
第七章 总结和展望 ...................................................................................................... 60
§7.1 总结 ............................................................................................................... 60
§7.2 展望 ............................................................................................................... 61
参考文献 ........................................................................................................................ 62
在读期间公开发表的论文和承担科研项目及取得成果 ............................................ 64
致谢 ................................................................................................................................ 65
第一章 绪 论
1
第一章 绪 论
§1.1 研究背景
物联网就是连接物体的互联网，是接连计算机技术和互联网技术的第三次信
息化发展的浪潮[1]。物联网是在互联网的基础上开展的，互联网使得物联网的信
息能够得到传输[2]。物联网的研究和发展是为用户服务的。
物联网以传感网络技术、分布式信息处理技术再以网络为桥梁，通过传感器
协作实时采集和监控数据信息[3-5]。物联网是对现有的信息感知技术的全新的改
革，在新一代网络中起着非常关键的作用。来自美国《商业周刊》的发表说明物
联网作为高科技技术产业，已经成为当今最具有影响力的技术之一[6]。物联网有
着广泛的应用，从国防军事、农业生产、工业生产等应用，到智能家居、个人医
疗等方面，物联网出现在人类社会生产和生活的各个方面。当物联网、互联网、
移动网络三网结合时，可随时随地“感知”对方，从“感觉”到“感知”，最后
到“控制”是人类生活发展的必然方向。可见，物联网的发展和应用将带动一些
传统的部门的变革。物联网是现代无线通讯的一个典型应用场景，把射频识别
RFID[7]标签、传感器、制动器、移动设备等物体通过一个唯一的映射模式联系起
来，以便进行深一步的研究和应用。
由于物联网是将物体都相互连接起来，因此需要保存这些信息：物体信息、
物体连接信息、物体状态信息、控制信息等。随着时间的累积，这些信息必将是
膨胀巨大的，举例来说，若传感器的采样频率是 5s，那么一天一个传感器采样
数据量有 17280 条，1000 个传感器一天采集的数据量就有近 2千万条，一年的
数据量将达到 63 亿条。如何存储这些信息也将成为未来研究的热点和难点。由
于数据的持续增长性，需要求存储有很强的扩展性、可用性和数据的高效的读取
性。传统的关系型数据库在过去几十年中得到非常广泛的应用，然而也有着致命
的弱点：一、扩展性不好：在关系数据库中，表和表之间会包含许多连接操作，
不利于扩展。二、读写效率低：关系数据库中的表是以关系和属性来表示的。当
表中的数据超过一定数量的时候，表和表之间的复杂关系会出现互相锁住的情况。
三、成本高：关系数据库对存储的硬件消耗比较大。四、存储能力有限：目前关
系数据库还不能够存储数据量非常大。于是乎 NoSQL[8]应运而生。
NoSQL 数据库有以下优点：一、具有良好的扩展性：如 Cassandra[9]，通过
添加存储节点扩展存储性能和空间；二、读写效率高：如 Redis[10]，数据的读写
都是内存中进行的，读写效率是非常高的；三、低廉的成本：NoSQL 的分布式
基于 Hadoop 的面向物联网应用的存储模型研究
2
数据库都是开源免费的，供企业和个人使用。
通过本文以上关系型数据库和 NoSQL 数据库的比较可以看出，NoSQL 数据
库更加适合物联网的存储，本文将以云计算技术为核心，探讨在云计算技术下如
何实现物联网信息的存储问题。
§1.2 国内外物联网技术概述
§1.2.1 国内外物联网发展现状
自从 IBM 提出“智慧地球”战略后，该战略已经成为美国发展的国家战略。
同时，奥巴马政府也希望通过使用物联网技术，发展新一轮的技术革新，再次引
领全球的科技发展[11]。与此同时，国内也在积极开展物联网的研究和发展。鉴于
物联网涉及网络和信息资源的掌控并在此基础上加以利用，如果能够积极参与国
际物联网发展工作，我国能够掌握世界发言权，并且抢占下一代信息技术领域的
制高点，那么我国就能主导世界，就像互联网时代的美国，因此我国非常重视物
联网的兴起和发展。
美国自“智慧地球”被提出之后，已经在全国推广了多个典型的职能解决方
案。智慧地球是为了利用物联网技术改变人类生产生活中的交互方式，实现透彻
的感知，更加广泛的互联互通和更加深入的智能化。因此，美国各界也十分关注
物联网技术的研究和发展，希望开展物联网的核心技术抓住主导权。同时，美国
的很多企业也在积极开展物联网的应用也研究。
在欧洲，物联网也受到了欧盟委员会的高度专注，物联网也被认为是国家信
息技术发展的主要方向，成为国家未来发展的重要讨论问题。2009 年6月18 日，
在比利时首都召开的会议中，提交了一份《物联网——欧洲行动计划》的公告，
欧盟宣布了新的物联网行动计划。这个计划的目的是确保物联网能够迅速在欧洲
发展起来。同时，欧洲的各大通信运营商和企业也在开展物联网研究和应用的领
域，不断巩固物联网的应用领域。比如 Vodafone 公司的全球服务平台和部署应
用服务，T-mobile、Telenor 与设备商的合作，特别在工业生产和运用等行业的关
注[12]。
物联网的发展使得各种类型的应用出现层出不穷，数据量也急剧上升，这样
也带来了对技术的更多的需求，这些需求主要体现在以下四个方面：读写效率高、
负担起海量的数据存储、对大规模存储集群的维护和管理、维护集群的成本。
目前，美国的一些知名 IT 企业都开展云计算的研究。这些公司包括 Google、
Amazon、IBM 等。云存储是云计算的延伸和发展出来的新的概念，通过把文件
摘要：

摘要随着物联网在中国的展开，信息界面临海量数据存储的问题。无线传感网络作为物联网末端信息采集工具，分布区域越来越广、规模越来越大，产生的信息量飞速增长。无线传感网络的数据存储分为内部数据存储和外部应用程序存储，本文讨论无线传感网络产生的数据的外部应用存储问题。学术界对海量数据存储进行深入探讨，以Hadoop集群为代表的分布式计算技术以及HBase存储系统成为热点。传感器数据类型单一，是按时间序列分布的单列数据，因此HBase是适合无线传感网络的信息存储的。本文根据大规模无线传感网络分布广、异构网络数目多和传感器数量多的特点，用Hadoop构建集群存储管理系统，使用HBase分布式存储传感器数据...

展开>> 收起<<
基于Hadoop的面向物联网应用的存储模型研究.pdf

共68页,预览7页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：68 页 大小：2.61MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 68
评分 收藏
分享
立即下载 VIP免费下载
客服
关注