基于Hadoop的面向物联网应用的存储模型研究

VIP免费
3.0 牛悦 2024-11-19 4 4 2.61MB 68 页 15积分
侵权投诉
摘要
随着物联网在中国的展开，信息界面临海量数据存储的问题。无线传感网络
作为物联网末端信息采集工具，分布区域越来越广、规模越来越大，产生的信息
量飞速增长。无线传感网络的数据存储分为内部数据存储和外部应用程序存储，
本文讨论无线传感网络产生的数据的外部应用存储问题。学术界对海量数据存储
进行深入探讨，以 Hadoop 集群为代表的分布式计算技术以及 HBase 存储系统成为
热点。传感器数据类型单一，是按时间序列分布的单列数据，因此 HBase 是适合
无线传感网络的信息存储的。本文根据大规模无线传感网络分布广、异构网络数
目多和传感器数量多的特点，用 Hadoop 构建集群存储管理系统，使用 HBase 分布
式存储传感器数据。主要工作如下：
(1) 为了解决跨区域的数据存储问题，本文设计分级的存储架构模型。
(2) 设计存储模型的逻辑结构，包括全局数据存储管理目录、区域数据存储服务。
(3) 构建了基于 HBase 的数据存储过程和查询过程。
实验表明，该存储系统具有良好的扩展性、存储和查询效率，能够满足大规
模传感器数据的存储问题。
关键字：物联网 无线传感网络 大规模数据 分级存储
ABSTRACT
With the development of The Internet of Things in China, Information industry
faces the problem of massive data storage. Wireless sensor network, which is the data
collection tool of the Internet of Things, spreads more and more widely, expands in the
scale, products the increasing data. Wireless sensor network gets two types of data
storage: internal data storage and external data storage, this paper will discuss the
external data storage from the wireless sensor network. Academia has deeply explored
massive data storage, the most popular is Hadoop, which is distribute computing
technology, and HBase, which is column based storage system. The data from sensors is
single type, order by timestamp. HBase is suitable to store the sensor data. This paper
set up the Hadoop cluster and the HBase cluster to store the sensor data, according to
the wide spread of the large scale wireless sensor network, the large number of
heterogeneous network and sensors. The mainly work is as follows:
(1) To solve the cross-regional data storage, this paper designs a tiered storage architecture model.
(2) Design the logic architecture of storage model, which include global directory data manage
directory, and district data storage server.
(3) Build a data storage procedure and query procedure based on HBase.
Experiments show that, this storage system is scalable, high performance in storing
and query, and able to solve the massive sensor data.
Key word: Internet of Things, wireless sensor network, large-scare
data, tiered storage
目录
摘要
ABSTRACT
目录 .................................................................................................................................. 1
第一章 绪 论 .................................................................................................................. 1
§1.1 研究背景 .......................................................................................................... 1
§1.2 国内外物联网技术概述 ................................................................................. 2
§1.2.1 国内外物联网发展现状 ....................................................................... 2
§1.2.2 我国物联网发展现状 .......................................................................... 3
§1.3 研究意义 ......................................................................................................... 3
§1.4 论文结构 ......................................................................................................... 4
第二章 物联网技术 ........................................................................................................ 5
§2.1 引言 ................................................................................................................. 5
§2.2 物联网的主要特征 .......................................................................................... 5
§2.3 物联网的技术架构 ......................................................................................... 6
§2.4 物联网的关键技术 ......................................................................................... 6
§2.5 大规模无线传感网络 ..................................................................................... 7
§2.6 本章小结 .......................................................................................................... 8
第三章 云计算相关技术 ................................................................................................ 9
§3.1 引言 ................................................................................................................. 9
§3.2 云计算的定义及分类 ..................................................................................... 9
§3.3 云计算服务模式 .............................................................................................. 9
§3.4 云计算应用实例 ............................................................................................. 11
§3.4.1 Google 云计算 ..................................................................................... 11
§3.4.2 Amazon EC2 ........................................................................................ 13
§3.4.3 IBM“蓝云”计算平台 ...................................................................... 14
§3.4.4 华为云计算平台 ................................................................................ 14
§3.4.5 Hadoop 云计算平台 ........................................................................... 15
§3.5 Hadoop 框架介绍 .......................................................................................... 15
§3.5.1 Hadoop 分布式文件系统 ................................................................... 15
§3.5.2 MapReduce 模型分析 ......................................................................... 17
§3.5.3 Chukwa 介绍 ....................................................................................... 19
§3.5.4 HBase 介绍 ......................................................................................... 19
§3.6 本章小结 ....................................................................................................... 22
第四章 基于分级存储架构的方法 .............................................................................. 23
§4.1 引言 ................................................................................................................ 23
§4.2 分级存储模型 ............................................................................................... 24
§4.2.1 存储方式介绍 .................................................................................... 24
§4.2.1 分级存储思想 .................................................................................... 25
§4.2.2 分级存储基本概念 ............................................................................ 26
§4.2.3 分级存储结构 .................................................................................... 26
§4.2.4 分级存储的实现 ................................................................................ 28
§4.3 本章小结 ....................................................................................................... 30
第五章 系统设计 .......................................................................................................... 31
§5.1 引言 ............................................................................................................... 31
§5.2 基于 HBase 的存储模型设计 ...................................................................... 31
§5.2.1 数据类型定义 .................................................................................... 31
§5.2.2 主要功能描述 .................................................................................... 38
§5.3 系统实现 ....................................................................................................... 38
§5.3.1 数据传输与通信机制 ........................................................................ 38
§5.3.2 关键类描述 ........................................................................................ 41
§5.3.3 查询请求服务 .................................................................................... 50
§5.3.4 控制命令发送 .................................................................................... 51
§5.4 本章小结 ....................................................................................................... 52
第六章 实验验证与分析 .............................................................................................. 53
§6.1 实验平台的搭建 ........................................................................................... 53
§6.1.1 实验环境准备 .................................................................................... 53
§6.1.2 Hadoop 平台的运行 ........................................................................... 55
§6.1.3 HBase 平台的运行 ............................................................................. 55
§6.2 HBase 性能测试实验 .................................................................................... 56
§6.3 数据负载能力实验 ....................................................................................... 57
§6.4 IO 型负载实验 ............................................................................................... 58
§6.5 本章小结 ....................................................................................................... 59
第七章 总结和展望 ...................................................................................................... 60
§7.1 总结 ............................................................................................................... 60
§7.2 展望 ............................................................................................................... 61
参考文献 ........................................................................................................................ 62
在读期间公开发表的论文和承担科研项目及取得成果 ............................................ 64
致谢 ................................................................................................................................ 65
第一章 绪 论
1
第一章 绪 论
§1.1 研究背景
物联网就是连接物体的互联网，是接连计算机技术和互联网技术的第三次信
息化发展的浪潮[1]。物联网是在互联网的基础上开展的，互联网使得物联网的信
息能够得到传输[2]。物联网的研究和发展是为用户服务的。
物联网以传感网络技术、分布式信息处理技术再以网络为桥梁，通过传感器
协作实时采集和监控数据信息[3-5]。物联网是对现有的信息感知技术的全新的改
革，在新一代网络中起着非常关键的作用。来自美国《商业周刊》的发表说明物
联网作为高科技技术产业，已经成为当今最具有影响力的技术之一[6]。物联网有
着广泛的应用，从国防军事、农业生产、工业生产等应用，到智能家居、个人医
疗等方面，物联网出现在人类社会生产和生活的各个方面。当物联网、互联网、
移动网络三网结合时，可随时随地“感知”对方，从“感觉”到“感知”，最后
到“控制”是人类生活发展的必然方向。可见，物联网的发展和应用将带动一些
传统的部门的变革。物联网是现代无线通讯的一个典型应用场景，把射频识别
RFID[7]标签、传感器、制动器、移动设备等物体通过一个唯一的映射模式联系起
来，以便进行深一步的研究和应用。
由于物联网是将物体都相互连接起来，因此需要保存这些信息：物体信息、
物体连接信息、物体状态信息、控制信息等。随着时间的累积，这些信息必将是
膨胀巨大的，举例来说，若传感器的采样频率是 5s，那么一天一个传感器采样
数据量有 17280 条，1000 个传感器一天采集的数据量就有近 2千万条，一年的
数据量将达到 63 亿条。如何存储这些信息也将成为未来研究的热点和难点。由
于数据的持续增长性，需要求存储有很强的扩展性、可用性和数据的高效的读取
性。传统的关系型数据库在过去几十年中得到非常广泛的应用，然而也有着致命
的弱点：一、扩展性不好：在关系数据库中，表和表之间会包含许多连接操作，
不利于扩展。二、读写效率低：关系数据库中的表是以关系和属性来表示的。当
表中的数据超过一定数量的时候，表和表之间的复杂关系会出现互相锁住的情况。
三、成本高：关系数据库对存储的硬件消耗比较大。四、存储能力有限：目前关
系数据库还不能够存储数据量非常大。于是乎 NoSQL[8]应运而生。
NoSQL 数据库有以下优点：一、具有良好的扩展性：如 Cassandra[9]，通过
添加存储节点扩展存储性能和空间；二、读写效率高：如 Redis[10]，数据的读写
都是内存中进行的，读写效率是非常高的；三、低廉的成本：NoSQL 的分布式
摘要：

摘要随着物联网在中国的展开，信息界面临海量数据存储的问题。无线传感网络作为物联网末端信息采集工具，分布区域越来越广、规模越来越大，产生的信息量飞速增长。无线传感网络的数据存储分为内部数据存储和外部应用程序存储，本文讨论无线传感网络产生的数据的外部应用存储问题。学术界对海量数据存储进行深入探讨，以Hadoop集群为代表的分布式计算技术以及HBase存储系统成为热点。传感器数据类型单一，是按时间序列分布的单列数据，因此HBase是适合无线传感网络的信息存储的。本文根据大规模无线传感网络分布广、异构网络数目多和传感器数量多的特点，用Hadoop构建集群存储管理系统，使用HBase分布式存储传感器数据...

展开>> 收起<<
基于Hadoop的面向物联网应用的存储模型研究.pdf

共68页,预览7页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：牛悦 分类：高等教育资料 价格：15积分 属性：68 页 大小：2.61MB 格式：PDF 时间：2024-11-19

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 68
评分 收藏
分享
立即下载 VIP免费下载
客服
关注