仓库及OLAP技术在物业管理系统中的应用

VIP免费

3.0 陈辉 2024-11-19 11 4 1.26MB 82 页 15积分

侵权投诉

摘要

传统的数据库一直被用于OLTP，从而由计算机管理来代替手工操作。然而，随

着管理信息系统日趋复杂，企业管理者发现他们还需要对其自身业务的运行以及整

个市场相关业务数据进行分析，从而作出有利的决策，这些决策需要对大量的业务

数据，包括历史业务数据进行分析，这种基于业务数据的决策分析，我们称之为

OLAP。数据仓库的数据概念模型是数据的多维视图，多维的概念是用来描述被定义

成多维的或按多维的访问信息的一个术语。大多数的商务模型实际上是用多维视图

表示的，多维概念视图是OLAP应用实现的关键所在。本课题主要研究的就是如何在

物业管理系统内建造适用于决策分析的数据仓库系统。

本课题从实际出发，结合本人以前参与开发的面向事务处理的物业管理数据库

系统，并以此数据库中的数据为源数据设计开发了面向决策支持的物业管理数据仓

库系统。具体分析了数据仓库系统的设计思想和开发方法，并着重阐述了基于

OLAP应用的数据仓库系统的模型设计方法和实现过程。

第一章首先介绍了数据仓库的基本概念以及体系结构，其次简要阐述了决策支

持系统的主要组成部分和实现技术。

第二章主要介绍了基于OLAP的数据仓库系统的总体设计，以实例阐述了数据仓

库系统开发的策略、设计方法和数据仓库的建模技术

第三章主要介绍了基于OLAP的数据仓库系统的具体设计和实现方法，并介绍了

数据挖掘模型的创建过程。主要包括源数据库的分析、需求分析、事实/维度表的

设计、星型雪花架构的设计以及OLAP服务器的构建和数据挖掘模型AREAMODEL的创

建。

第四章主要是对数据仓库技术的未来发展进行了展望，并重点说明了OLAP技术

的新发展。

关键词：数据仓库数据集市多维数据集 OLTP OLAP 数据挖

掘决策支持

ABSTRACT

Traditional database is always applied to OLTP which is designed to do the dayly

operation by computers. While managerial information system (MIS) is becoming more

and more complex, managers find that they need to analyse the data of their own

business and the whole market business, and then make advantaged decisions. The data

consists of not only the result of present business, but also the historical data. The

analyse procession which is based on business data is called OLAP.

D a t a c o n c e p t i o n m o d l e f o r D a t a W a r e h o u s e i s t h e m u l t i p h a s e v i e w f o r d a t a . T h e

conception of multiphase is a term for description of multiphase and visit in multiphase.

A majority of commercial models are expressed by multiphase view, multiphase view is

the key for implementation of OLAP.The purpose of this paper is to research how to

build a data wareh ouse sy stem w hich i s orien ted for prope rty ma nageme nt system to

decide-making and analyzing.

T h i s p a p e r s t a r t s w i t h t h e p r a c t i c e , a n d c o m b i n e w i t h t h e t r a n s a c t i o n- o r i e n t e d

database system for product-management, which is developed by author before. The

d a t a s o u r c e f r o m t h i s da t a b a s e i s a d o p te d a n d b a s e o n t h is d a t a t h e a n a l y s e - o r i e n t e d

p r o p e r t y -m a n a g e m e n t d a t a w a r e h o u s e i s d e s i g n e d a n d d e v e l o p e d . I t i s a l s o

expatiated how to design and how to implement the data warehouse system which bases

on OLAP.

In Cha p 1, introduce the conce ption a nd the fundament for data wareho use, and

describe the main components and implement for decision-making system in short.

In Chap 2, introduce the whole design for data warehouse which based on OLAP,

and make a sight of the policy for development, design, and model technology with the

instance.

I n C h a p 3 , i n t r o d u c e t h e d e t a i l e d d e s i g n a n d i m p l e m e n t a t i o n o f t h i s s y s t e m ,

include analyse of database, requirement analyse, design for fact/dimension table, star-

snow structure and the building of OLAP server.

In C ha p 4 , t a ke a p r o s pe c t f o r t h e fu t u re o f d a ta w a re h o us e , a n d e m p h as i z e t h e n e w

development of OLAP .

Keywords：Data Warehouse，DataMarket, Multi-dimension Dataset,

OLTP，OLAP，Data Mining，DSS

摘   要...............................................................................................................................I
ABSTRACT...................................................................................................................II
第一章 数据仓库系统概述........................................................................................1
1、从数据库到数据仓库.........................................................................................1
1.1、数据仓库的由来...........................................................................................1
1.2、数据仓库的定义...........................................................................................2
1.3、为什么需要一个分离的数据仓库...............................................................4
1.4、数据仓库的用户...........................................................................................5
2、数据仓库的体系化环境.....................................................................................5
2.1、数据仓库的结构...........................................................................................6
2.2、多层数据仓库的体系结构...........................................................................7
2.3、数据仓库的关键技术...................................................................................9
2.4、数据仓库的实现...........................................................................................9
3、数据仓库中的数据组织...................................................................................10
3.1、数据仓库的数据组织结构.........................................................................10
3.2、数据仓库的数据概念模型.........................................................................10
3.3、数据仓库的数据组织方式.........................................................................11
3.4、数据仓库的数据追加.................................................................................12
4、数据仓库的基本组成.......................................................................................13
4.1、关系数据库.................................................................................................13
4.2、数据集市.....................................................................................................13
4.3、数据源.........................................................................................................14
4.4、维度.............................................................................................................14
4.5、级别.............................................................................................................15
4.6、度量值.........................................................................................................16
4.7、单元.............................................................................................................16
4.8、多维数据集.................................................................................................16
4.9、分区和聚合.................................................................................................17
4.10、成员属性...................................................................................................18
5、决策支持系统...................................................................................................18
5.1、报表.............................................................................................................18
5.2、联机分析处理（OLAP）..........................................................................18
5.3、数据挖掘.....................................................................................................22
第二章  基于OLAP的数据仓库的总体设计..............................................................26
III

1、物业管理信息化系统概述...............................................................................26
1.1、项目背景.....................................................................................................26
1.2、物业管理信息化的现状.............................................................................27
1.3、数据仓库技术的应用及其在物业管理方面的应用情况.........................27
1.4、物业管理系统模型概述.............................................................................28
1.5、软硬件平台.................................................................................................29
2、数据仓库系统的实现策略...............................................................................29
2.1、实现数据仓库系统的6种开发模式...........................................................29
2.2、物业管理数据仓库系统所采用的开发模式.............................................31
3、数据仓库的设计方法.......................................................................................32
4、确定数据仓库的主题、粒度及数据分割.......................................................35
5、数据仓库建模...................................................................................................36
5.1、数据仓库的建模技术.................................................................................36
5.2、数据模式的设计.........................................................................................37
5.3、系统所采用的建模技术及数据模式.........................................................39
6、数据仓库维护...................................................................................................41
6.1、更新数据仓库数据.....................................................................................41
6.2、同步OLAP多维数据集..............................................................................42
6.3、更新数据集市.............................................................................................42
第三章  基于OLAP的数据仓库系统的实现..............................................................43
1、SQL Server 2000数据仓库解决方案...............................................................43
2、微软数据挖掘概述...........................................................................................44
2.1、数据挖掘与OLAP......................................................................................44
2.2、数据挖掘模型.............................................................................................44
2.3、数据挖掘算法.............................................................................................44
3、数据仓库系统的实施方案...............................................................................44
3.1、数据仓库的基本程序.................................................................................44
3.2、数据仓库程序的管理架构.........................................................................45
3.3、系统所采用的实施方案.............................................................................46
4、源数据库简介...................................................................................................47
4.1、WYGL数据库架构介绍.............................................................................48
4.2、WYGL数据库表格的关系.........................................................................52
5、需求分析...........................................................................................................54
6、确定事实与维度数据.......................................................................................56
7、设计事实表.......................................................................................................58
8、设计维度表.......................................................................................................62
IV

8.1、设计管理员维度.........................................................................................62
8.2、设计产业维度.............................................................................................63
8.3、设计时间维度.............................................................................................63
8.4、设计地区维度.............................................................................................65
8.5、设计居住类型维度.....................................................................................66
8.6、设计维修人员维度.....................................................................................67
8.7、设计维修类别维度.....................................................................................68
8.8、设计维修耗材维度.....................................................................................68
9、星型雪花架构设计...........................................................................................69
10、多重维度架构.................................................................................................71
11、数据转移.........................................................................................................71
11.1、数据转移的步骤.......................................................................................71
11.2、数据转移实施...........................................................................................72
12、构建OLAP服务器...........................................................................................73
13、创建数据挖掘模型.........................................................................................76
14、前端展示.........................................................................................................78
15、物业管理数据仓库系统与OLTP数据库系统在决策支持方面的对比.......79
第四章  数据仓库技术展望..........................................................................................82
1、数据仓库的未来发展.......................................................................................82
2、OLAP的新发展——OLAM.............................................................................82
2.1、由来.............................................................................................................82
2.2、体系结构.....................................................................................................82
2.3、功能特征.....................................................................................................83
2.4、OLAM领域的主要发展方向.....................................................................84
3、数据挖掘的发展趋势.......................................................................................84
结 束 语..........................................................................................................................87
参考文献........................................................................................................................88
V

第一章数据仓库系统概述

1.1、从数据库到数据仓库

在激烈的市场竞争中，信息对于企业的生存和发展起着至关重要的作用。表达

信息的数据随着时间和业务的发展而不断膨胀，因此有人惊叹道：当今的时代是信

息爆炸的时代。同时，数据分布在不同的系统平台上，具有多种存储形式，作为领

导和决策者如何从这样复杂的数据环境中得到有用的决策数据呢？随着分布式结构

的成熟，数据库技术的提高和数据处理技术的发展，数据仓库（ D a t a

Warehouse，DW）和决策支持系统（Decision Support System，DSS）应运而生。

1.1.1、数据仓库的由来

在市场经济的激烈竞争中，企业必须把业务经营同市场需求联系起来，在此基

础上做出科学、正确的决策，以求生存。为此，企业纷纷建立起了自己的数据库系

统，由计算机管理代替手工操作，以此来收集、存储、管理操作数据，改善办公环

境，提高操作人员的工作效率。比如，人们日常生活中经常会遇到这样的情况：超

市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道

购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中

找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助……对于以

上问题，现有的信息管理系统中的数据分析工具很难给出答案。即传统的数据库应

用系统并不能很好的支持决策，因为它是面向业务操作设计的，无论是查询、统计

还是生成报表，其处理方式都是对指定的数据进行简单的数字处理。虽然能简化具

体操作人员的劳动强度，但不能对这些数据所包含的内在信息进行提取，所以对于

企业的中高层领导来说并没有相应的决策支持系统。企业需要新的技术来弥补原有

数据库系统的不足，需要把已经广泛收集到的数据集成到数据仓库中，以从业务数

据中提取有用的信息，帮助他们在业务管理和发展上做出即时正确的判断。

数据仓库是计算机和数据库应用发展到一定阶段的产物。如今，信息处理部门

的工作重点已不在于简单的数据收集。随着企业计算机应用的不断深入，企业已经

积累了大量的生产业务数据，企业内的各级人员都希望能够快速、交互并方便有效

地从这些大量杂乱无章地数据中获取有意义的信息，决策者希望能够利用现有数据

指导企业决策和发掘企业的竞争优势。由此我们可以看到数据仓库的目的是为了建

立一种体系化的数据存储环境，将分析决策所需的大量数据从传统的操作环境中分

离出来，使分散、不一致的操作数据转换成集成、统一的信息。企业内不同单位、

不同角色的成员都可以在此单一的环境之下，通过运用其中的数据与信息，发现全

新的视野和新的问题、新的分析和想法，进而发展出制度化的决策系统，并获取更

多经营效益。我们不妨再深入地想一想，要实现这个目的，必须获得大量的历史数

据和汇总数据。而且与联机事务处理（Online Transaction Processing OLTP）系

统不同，用户不需要修改数据，而使用的大量随即查询是基于联机分析处理

（Online Analytiacal Processing OLAP）的应用。用户对这类应用越来越迫切的

需求推动了数据仓库技术的发展。

数据仓库同时也是适应决策支持系统的需要而产生的，所以采用的软件产品应

该能支持决策过程的全部内容。完整的数据仓库应包括3个方面的技术内容：数据

数据仓库及 OLAP 技术在物业管理系统中的应用

仓库技术、联机分析处理技术和数据挖掘（Data Mining，DM）技术，它是一个十

分庞大的系统。目前已经有很多商品化的数据库软件，比如Oracle公司，SAS公司

Microsoft公司和Sybase公司都推出了自己的数据库解决方案。

1.1.2、数据仓库的定义

1.1.2.1、数据仓库的基本定义

数据仓库的定义历来没有一个公认，而且被标准化的定义。不过随着人们对大

型数据系统研究、管理和维护等方面的深刻认识和不断完善，在总结、丰富并集中

多个企业信息的经验之后，都或多或少地指出了数据仓库有如下几个特点并达到了

共识：数据仓库中的数据是面向主题的、集成的、不可更新的（稳定的）并随时间

不断变化的，建立数据仓库的目的是为了更好地支持决策分析。

1．面向主题

主题是一个抽象的概念，是在较高层次上将企业信息系统中的数据综合、归类

后进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及

的分析对象，是针对某一决策问题而设置的。面向主题的数据组织方式，就是在较

高层次上对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各

个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。

目前，数据仓库的实现主要是基于关系数据库，每个主题由一组关系表或逻辑

视图实现。这些表和视图的内容与原来各个运行系统数据源的数据本质上是一致的

但为了方便支持分析数据处理，对数据结构进行了重组，其中还可能增加一些冗余

数据。

2．集成的数据

数据仓库中存储的数据从原来分散的各个子系统中提取出来，但并不是原有数

据的简单拷贝，而是经过统一并综合。

对源数据的集成是数据仓库建设中最关键，也是最复杂的一步。

3．数据不可更新

从数据的使用方式上看，数据仓库的数据不可更新。即数据保存到数据仓库中

后，最终用户只能通过分析工具进行查询和分析，而不能修改，即数据仓库的数据

对最终用户而言是只读的。

从数据的内容上看，数据仓库存储的是企业当前和历史的数据，在一定时间间

隔以后，当前数据需要按一定的方法转换成历史数据。

数据仓库的数据不可更新问题可与操作性环境中的数据记录处理方式进行比较

中理解，如图1-1。

图1-1 数据不可更新（非易失性）问题

4．数据随时间不断变化

第一章数据仓库系统概述

数据仓库数据的不可更新是针对应用而言，即用户分析处理时不更新数据。但

不是说，数据从进入数据仓库以后就永远不变，这些数据随时间变化而定期更新。

每隔一段固定的时间间隔后，抽取运行数据库系统中产生的数据，转化后集成到数

据仓库中。

数据仓库按其关键技术分为数据抽取、存储和管理，以及数据表现3个基本方

面。

1. 数据抽取：是数据进入仓库的入口。由于数据仓库是一个独立的数据环境

所以需要通过抽取过程将数据从联机处理事务系统、外部数据源以及脱机的数据存

储介质中导入到其中。

2. 存储和管理：是数据仓库的关键。数据仓库的组织管理方式决定了它有别

于传统数据库，同时也决定了其对外部数据的表现形式。

3. 数据表现：相当于数据仓库的门面。其性能主要集中在多维分析、数理统

计和数据挖掘方面，而多维分析又是数据仓库的重要表现形式。

1.1.2.2、数据仓库从数据库进化而来

市场需求是技术发展的源动力。在数据库应用的早期，计算机系统所处理的是

从无到有的问题，是传统手工业务自动化的问题，例如银行的储蓄系统和电信的计

费系统都属于典型的联机事务处理系统。当时，一个企业可以简单地通过拥有联机

事务处理的计算机系统而获得强大的市场竞争能力。

然而，当联机事务处理系统应用到一定阶段时，企业家们便发现仅依赖拥有联

机事务处理系统已经不足以获得市场竞争的优势。他们需要对其自身业务的运行以

及整个市场相关行业的态势进行分析，从而做出有利的决策。这些决策需要对大量

的业务数据，包括历史业务数据进行分析。而这种基于业务数据的决策分析，我们

把它称之为“联机分析处理”。如果说传统联机事务处理强调的是更新数据库，即

在数据库中添加信息，那么联机分析处理就是要从数据库中获取并利用信息。

1.1.2.3、数据仓库与传统数据库的区别

从应用方面来看，传统的数据库即操作型数据库一直被用于OLTP，也就是将日

常事务处理中的数据以表的形式存放在数据库中，按用户要求对数据库里的数据进

行查询和处理。数据仓库主要是应用于决策支持系统，其主要目的是“提取”信息

并加以扩展，用来处理DSS的应用。

从数据的角度，我们可以通过表1-1中的比较来看看操作型数据与DSS数据的区

别：

表1-1 从传统数据库到数据仓库数据整体思想的变化

操作型数据 DSS数据

面向应用面向主题

详细的综合的或提炼的

在存取瞬间是准确的代表过去的数据

为日常工作服务为管理者服务

可更新不更新

重复运行启发式运行

处理需求事先可知处理需求事先不知道

生命周期符合SDLC完全不同的生命周期

对性能要求高对性能要求宽松

一个时刻存取一个集合

数据仓库及 OLAP 技术在物业管理系统中的应用

一个时刻存取一个单元

事务处理驱动分析处理驱动

更新控制主要涉及所有权无更新控制问题

高可靠性松弛的可用性

整体管理以子集管理

非冗余性时常有冗余

静态结构；可变的内容结构灵活

一次处理数据量小一次处理数据量大

支持日常操作支持管理需求

访问的高可能性访问的低可能性或适度可能性

1.1.3、为什么需要一个分离的数据仓库

数据仓库中的数据大多来源于操作型数据库中，那为什么还要再建立一个分离

的数据仓库呢？

分离的主要原因是提高操作数据库系统和数据仓库系统两个系统的性能。操作

数据库是为已知的任务和负载设计的，如使用主关键字索引和散列，检索特定的记

录和优化“罐装的”查询。另一方面，数据仓库的查询通常是复杂的，涉及大量数

据在汇总级的计算，可能需要特殊的数据组织、存取方法和基于多维视图的实现方

法。在操作数据库上处理OLAP查询，可能会大大降低操作任务的性能。

此外，操作数据库支持多事务的并行处理，需要加锁和日志等并行控制和恢复

机制，以确保一致性和事务的强健性。通常，DSS中如OLAP的查询只需要对数据记

录进行只读访问，以进行汇总和聚集。如果将并行控制和恢复机制用于这种OLAP

操作，就会危害并行事务的运行，从而大大降低OLTP系统的吞吐量。

最后，数据仓库与操作数据库分离是由于这两种系统中数据的结构、内容和用

法都不相同。决策支持需要历史数据，而操作数据库一般不维护历史数据。在这种

情况下，操作数据库中的数据尽管很丰富，但对于决策，常常还是远远不够的。决

策支持需要将来自异种源的数据统一（如聚集和汇总），产生高质量的、纯净的和

集成的数据。相比之下，操作数据库只维护详细的原始数据（如事务），这些数据

在进行分析之前需要统一。由于两个系统提供很不相同的功能，需要不同类型的数

据，因此需要维护分离的数据库。

1.1.4、数据仓库的用户

数据仓库的用户称为DSS分析员。他首先是一个商务人员，其次才是技术人员

DSS分析员的主要工作是定义和发展在企业决策中使用的信息。

了解DSS分析员的想法及他们对使用数据仓库的理解是很重要的。DSS分析员有

一种想法，即“给我看一下我说我想要的东西，然后我告诉你我真正想要什么。”

换句话说，DSS分析员在发现模式下工作。直到看到报表或屏幕上的数据时，他们

才开始探讨是否有必要进行DSS分析。

DSS分析员的态度之所以重要的理由如下：

它是合理的。

它是广泛的。

它对数据仓库的开发方式和系统怎样被使用有深远的影响。

传统的系统开发生命周期（System Developing Loop Circle SDLC）不适用于

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要传统的数据库一直被用于OLTP，从而由计算机管理来代替手工操作。然而，随着管理信息系统日趋复杂，企业管理者发现他们还需要对其自身业务的运行以及整个市场相关业务数据进行分析，从而作出有利的决策，这些决策需要对大量的业务数据，包括历史业务数据进行分析，这种基于业务数据的决策分析，我们称之为OLAP。数据仓库的数据概念模型是数据的多维视图，多维的概念是用来描述被定义成多维的或按多维的访问信息的一个术语。大多数的商务模型实际上是用多维视图表示的，多维概念视图是OLAP应用实现的关键所在。本课题主要研究的就是如何在物业管理系统内建造适用于决策分析的数据仓库系统。本课题从实际出发，结合本人以前参与开发...

展开>> 收起<<

仓库及OLAP技术在物业管理系统中的应用.doc

共82页,预览9页

还剩页未读，继续阅读

仓库及OLAP技术在物业管理系统中的应用

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: