中小企业商业智能系统解决方案的研究

VIP免费
3.0 陈辉 2024-11-20 12 4 1.16MB 71 页 15积分
侵权投诉
第一章 绪论
1
第一章 绪 论
商业智能（Business Intelligence，即 BI）是目前在国内外企业界和软件开发行
业中受到广泛关注的一个研究方向。这种研究热点出现的原因主要如下：一、信
息技术的高速发展带来了企业利用信息技术提高本身竞争力的巨大空间：信息技
术不但使企业获取需要的信息，而且，促进企业对信息的再利用，以此营造企业
的竞争优势；二、IT 业界许多以提供软件平台和工具平台的大公司通过多年与企
业的交流，已经认识到企业对商业智能的迫切需求，纷纷加入到商业智能的研究
与开发上来。IBM 建立了专门从事商业智能方案设计的研究中心，ORACLE、微
软等公司纷纷推出了支持商业智能开发和应用的软件系统，有的则直接进入了商
业智能的开发领域。
由于商业智能尚处于从起步阶段到发展阶段的转变时期，许多人对商业智能
的理解存在一定的偏差。很多人认为 BI 仅仅是一个进行数据分析的软件包，一些
较为悲观的人认为 BI 是存在于理想家头脑中的、企业永远不可能达到的境界。
其实商业智能并不是一个新名词。多年来，企业一直在寻找对商业智能的理
解和实现的方式，以增强企业的竞争力。早在 80 年代，当时商业智能的标准是能
够容易地获得想要的数据和信息。90 年代是商业智能真正起步的阶段，到目前为
止，关于商业智能还没有一个统一的定义，不同的人只是从不同的方面表达了对
商业智能的理解。早在 90 年代初，Garter Group 的Howard Dresner 把EUQR（终
端查询和报表）、决策支持系统（Decision Support System，即 DSS）、OLAP（Online
Analytical Processing）称为商业智能，企业使用这些工具使企业获得优势也被称为
商业智能。后来，出现了数据仓库、数据集市技术，以及与之相关的 ETL（抽取，
转换，上载）、数据清洗、数据挖掘、商业建模等，人们也将这些技术统归为商业
智能的领域。目前，存在将商业智能与数据仓库和基于数据仓库的分析方法等同
起来的认识趋势。
在MicroStrategy 7i 产品发布会上，MicroStrategy 公司大胆地提出了第三代
BI 平台的概念。该公司亚太区总裁 James Shin 认为：“第一代 BI 平台是在 1992 年～
1993 年所开发的基于 Client/Server 模式的固定报表工具；第二代在
Client/Server/Browse 三层模式下的 BI 工具，尽管强化了查询功能，但各个工具之
间仍相互独立；2000 年之后出现了 N层模式，用户的需求也越来越复杂。
MicroStrategy 提出的第三代 BI 是在报表、查询的基础上，增加了用于分析的指标
模型、整合信息孤岛平台的信息门户和全方位满足用户的数据挖掘能力。这五个
层次形成一个功能全面、操作简便的 BI 门户平台。”
MicroStrategy 的这种理念，让人想起 Brio 所倡导的 BP（Business Process）理
论。Brio 认为，商业决策要求决策系统要以最快的速度、最简便的方式对各个层
次的数据进行分析、查询等多种操作。而传统的 BI 已经不能为企业带来新的商机
与业务模式。也就是说，企业要做的不仅仅是简单的数据提取，而是以经营业绩
中小企业商业智能系统解决方案的研究
2
为导向，将信息从数据中提取出来，并及时地发布出去。Brio 认为这个过程就是
BI 提升到 BP 的过程。
总的来说商业智能系统，是帮助企业提高决策能力和运营能力的概念、方法、
过程以及软件的集合。对该定义的正确解释，如图 1所示，从四个层面展开：
信息系统层面：称为商业智能系统的物理基础。表现为面向特定应用领域的
信息系统平台，如 SCM、CRM、ERP。
数据分析层面：是一系列算法、工具或模型。首先获取与所关心主题有关的
高质量的数据或信息，然后自动或人工参与使用具有分析功能的算法、工具或模
型，帮助人们分析信息、得出结论、形成假设、验证假设。
知识发现层面：与数据分析层面一样，是一系列算法、工具或模型。将数据
转变成信息，而后通过发现，将信息转变成知识；或者直接将信息转变成知识。
战略层面：将信息或知识应用在提高决策能力和运营能力上；企业建模等。
商业智能系统的战略层面是利用多个数据源的信息以及应用经验和假设来提高企
业决策能力的一组概念、方法和过程的集合。它通过对数据的获取、管理和分析，
为贯穿企业组织的各种人员提供信息，以提高企业战略决策和战术决策能力。
基于以上定义的商业智能系统应具有以下功能：
数据管理功能：从多个数据源 ETL（抽取、转换、转贮）数据、清洗数据、
数据集成能力；大量数据高效存储与维护能力。
数据分析功能：具备 OLAP，Legacy 等多种数据分析功能；终端信息查询和
报表生成能力；数据可视化能力。
知识发现功能：从大型数据库中的数据中提取人们感兴趣的知识的能力。这
些知识是隐含的、事先未知的、潜在有用的信息，提取的知识表示为概念
（concepts），规则（rules），规律（regulations），模式（patterns）等形式。
企业优化功能；
第一章 绪论
3
辅助企业建模的能力。
一项 Gartner 最近的调查显示大约有 80%的美国企业和 55%的欧洲企业表示他
们有一个 BI 策略。多数的应用都是战术性的，并且是部门性的行为，但是它们对
于企业高层领导越来越重要，这是 BI 成为战略资源的诸多征兆之一。很多企业认
为他们有了太多的，经常是不必要的工具，并且正在进行标准化和整合，这需要
一个更加谨慎的计划。目标是改进对于重要任务的应用支持和可靠性，这些应用
能够为更大范围的项目提供支持。
无论是商业企业、科研机构或者政府部门，在过去若干年的时间里都积累了
海量的、以不同形式存储的数据资料。但当面对越来越多迅速膨胀的超级数据库
时，人们却无从着手去理解数据中包含的信息，更加难以获得有价值的知识！随
着数据挖掘概念的提出，使人们有能力克服这些困难，去发掘出蕴藏在数据中的
信息和知识。数据挖掘是目前国际上数据库和信息决策领域的最前沿研究方向之
一，引起了学术界和工业界的广泛关注。一些国际上高级别的工业研究实验室，
如IBM Almaden 和GTE，和众多的学术单位，如 UC Berkeley，都在这个领域开
展了各种各样的研究计划。简而言之数据挖掘是从大量数据中提取可信的、新颖
的、有效的模式的高级处理过程。
Gartner Group 等组织把 OLAP 视为数据挖掘的一部分，数据挖掘包含数据描
述和数据建模。OLAP 系统可以提供数据仓库中数据的一般描述，但更多的认识把
OLAP 和数据挖掘当作互不相交的两部分。OLAP 是数据汇总/聚集工具，它帮助
简化数据分析。OLAP 的功能基本上是用户参与的汇总和比较（上钻、下钻、旋转、
切片、和其他操作）；数据挖掘则是自动发现隐藏在大量数据中的模式等有价值的
知识。图 2从数据、信息和知识的角度形象地描述出 OLAP 和数据挖掘的逻辑关
系。
OLAP 和数据挖掘另一点不同是：OLAP 大多是限于数据仓库中的数据；数据
挖掘既可以分析现存的、比数据仓库提供的汇总数据粒度更细的数据，也可以分
析事务的、文本的、空间的和多媒体数据。
中小企业商业智能系统解决方案的研究
4
一般说来，数据挖掘有如下六种方法：描述统计、关联和相关、分类和聚类、
预测、优化、结构方程模型。
1. 描述统计（Descriptive statistics）
描述统计是数据挖掘的入门算法，直观、简单。描述统计包括平均数、中位
数、众数、分位数、百分比、求和等。描述统计经常和统计图（如直方图，条形
图，线图，散点图，茎叶图等）配合使用。目前应用最为广泛的 OLAP，究其本质
就是针对不同的数据群在做描述统计。
描述统计的应用十分广泛：比如当月公司利润总额，比较不同区域的销售量
等等。
2. 关联和相关（Association and Correlation）
关联规则从本质上讲是条件概率：A发生时，B同时也出现的概率是多大？只
要B离50％较远，就是有意义的。
在应用关联规则时还需要多考虑的一个问题是：这条规则遵循者的数量怎
样？通俗的说法就是，对于 A推导出 B这一规则，如果仅仅是针对一个人而言，
A一定推导出 B，尽管这条规则很可信（100％），但是意义却不大。
在应用关联规则时，要注意两点：关联不一定是因果，关联是有方向的。相
关也是考虑两个事物之间的关系，典型的度量方法有 Pearson 相关系数和 Kendall
相关系数。
3. 分类和聚类
分类和聚类是最常用的技术。
一般说来，分类的方法有三种：回归、决策树、神经网络。
聚类和分类的最大区别就是，分类是有监督的，聚类是无监督的。什么叫监
督呢？就是标准，或者说有目标变量。聚类是没有目标的。聚类事先不知道每一
类有什么特征的，聚后再总结，再发现共同点。
4. 预测
预测的常用方法是时间序列，回归也可以用来预测。
时间序列常用的方法有：ARMA，指数平滑和趋势外推等。时间序列的最大
特点就是充分挖掘事物本身随时间的规律。因为，任何事物，比如企业销售额，
在没有特别的外在因素影响下，总是有规律可遵循的。
5. 优化
优化本是运筹学中的一个概念，主要解决的一个问题是在各种约束条件下，
如何合理配置资源，使目标要素最大（小）化。
6. 结构方程模型
不同于以上的应用，结构方程模型重点在于如何揭示事物内部的结构和相互
作用的原理。比如，如何度量客户满意度？客户满意度与客户期望，产品，价格，
服务，投诉处理和客户忠诚是什么关系？是怎么作用的？只有搞清楚了这些关系，
才可能不断提高客户满意度和客户忠诚度，结构方程模型就起到了这种作用。
第一章 绪论
5
而数据挖掘的任务就可分为分类模型发现、聚类、关联规则发现、序列分析、
偏差分析、数据可视化等。
1. 分类（Classification）
其旨在生成一个分类函数或分类模型，该模型能把数据库中的数据项映射到
给定类别中的某一个。既可以用此模型分析已有的数据，也可以用它来预测未来
的数据。
2. 聚集（Clustering）
聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集
不依赖于预先定义好的类，不需要训练集。
3. 数据可视化（Description and Visualization）
数据可视化严格地讲不是一个单独的数据挖掘任务，它被用来支持其他挖掘
任务。可视化是采用图形、图表等易于理解的方式表达数据挖掘结果。
4. 关联规则（Affinity grouping or association rules）
关联规则是寻找数据库中值的相关性，主要是寻找在同一个事件中出现的不
同项的相关性，比如在一次购买活动中所买不同商品的相关性。
5. 序列分析（Sequence Analysis）
序列模式分析同样也是试图找出数据之间的联系。但它的侧重点在于分析数
据之间前后（因果）关系，因此对数据往往要求引入时间属性。序列模式分析非
常适于寻找事物的发生趋势或重复性模式。
6. 偏差分析（Deviation Analysis）
是用来发现与正常情况不同的异常和变化，并进一步分析这种变化是否是有
意的诈骗行为，还是正常的变化。如果是异常行为，则提示预防措施；如果是正
常的变化，那么就需要更新数据库记录。
CRISP-DM 将商业智能系统的构建分成如下六个阶段：商业理解（Business
Understanding），数据理解(Data Understanding)，数据准备(Data Preparation)，建模
(Modeling)，评估(Evaluation)和发布(Deployment)。
目前，数据挖掘的研究热点有如下几方面：
1. 围绕挖掘算法展开
数据挖掘是综合了机器学习、人工智能、数据统计等学科的研究领域。随着
数据挖掘工具在实际应用中的迅速增长，相关学科成熟的算法实现不断地加入到
数据挖掘中来；挖掘算法的研究还包括对现有挖掘算法的优化和改进，比如使用
全局搜索算法优化神经网络学习过程。
2. 基于数据仓库的数据挖掘
把数据挖掘建立在数据仓库之上，一方面能够提高数据仓库系统的决策支持
能力，另一方面，由于数据仓库完成了数据的清洗、ETL（抽取，转换，装载），
数据挖掘面对的是经过初步处理的数据，更加有利于数据挖掘功能的发挥。这方
面的研究集中在基于数据仓库的数据挖掘系统结构的探讨上。
中小企业商业智能系统解决方案的研究
6
3. OLAM（Online Analytical Mining）
OLTP 是一个基础阶段，它的主要目的是搜集企业基础业务数据，并进行一些
统计、归纳等的工作，它的支撑是 MIS（管理信息系统）。
OLAP 是到了一个较为高级的阶段，对低级阶段的数据库的内容作一些提炼
和分析工作，为最后的高级阶段作一些准备，它是一个验证阶段。
数据挖掘是信息发展到一定程度的必然产物，是利用积累数据的一个高级阶
段。
而OLAM 是OLAP 和数据挖掘的结合，其特点为：
·是充分发挥计算机优势，进行大量运算及分析对比，产生诸如切片、切块、
下钻、旋转等操作，形成新的模式的阶段；
·是一个多维的、深层次的挖掘工作阶段；
·是一个面向主题，形成新的知识的层次的阶段；
OLAM 将OLAP 和数据挖掘功能集成在一起，可以实现数据挖掘功能的联机
选择，为用户选择所期望的数据挖掘功能、动态地改变数据挖掘任务提供了灵活
性。OLAM 和OLAP 通过图形用户界面 GUI 接受用户指令，对数据立方体（Cube）
进行数据分析、挖掘。由于 OLAM 服务器可以执行如关联、分类、预测、聚类、
时序分析等多种数据挖掘任务，它通常由多个集成的数据挖掘模块组成。
4. 数据挖掘与具体应用的结合。
数据挖掘目前在医学、电信、零售业等多个应用领域均有成功的应用案例。
随着越来越多的业务需求被不断明确，数据挖掘应用的领域和解决的问题会越来
越广泛；一些应用系统，如 ERP、SCM、HR 等系统也逐渐与数据挖掘集成起来，
用以提高系统的决策支持能力。这方面的研究热点包括数据挖掘与 ERP、CRM、
WEB 应用的结合。
SPSS 是一款著名的面向科研机构和中小型企业的 BI 系统，某些房地产行业
将其应用到 CRM 上。房地产行业对于潜在客户和线索客户的客户营销分析，是存
在多纬度、多变量的，它对于消费者聚群和消费者聚群的特征，以及市场活动对
各个聚群的影响和反应等的分析是很需要商业智能系统的，BI 系统会帮助他们挖
掘CRM 的客户资源和数据，而类似回归分析等智能和复杂的功能会协助他们更加
深入的分析和研究客户，从而更好地指导项目开发和销售。
而在医药行业，对于客户价值的评估，历来也是一个比较复杂的问题。对于
医药客户的价值评估，要考虑客户忠诚度、客户市场份额、客户处方量、客户购
买力等指标，再加上区域、时间等纬度，是一个很复杂的统计分析工作，如果借
助CRM 系统积累的多维数据并结合 BI 系统的数据挖掘，会更加科学和快速地提
供高效的决策分析。
用友软件购买了美国一家软件公司，从而拥有了数据分析、挖掘的模块，他
们将该模块称作决策舱，加入自己的产品中，构成完整的企业信息整体解决方案；
美国登卓公司（Dendrite）是一家立足于医药行业的 CRM 解决方案提供商，他们
第一章 绪论
7
采取了和用友软件相同的策略，购买了另一家专门从事数据分析的软件公司的产
品，和自己的 CRM 产品捆绑在一起，为世界各地的医药公司提供解决方案。
数据挖掘的市场处于起步后的发展阶段，目前市场划分已初见端倪。我们可
以把整个数据挖掘工具市场分成三个主要组成部分：通用的工具、综合 DSS/OLAP/
数据挖掘工具、快速成长的面向特定应用的工具。
通用的工具占有更大和更成熟的一块市场。从定义上说，它们是非面向特定
应用的；从本质上说，它们的范围在本质上是水平的，其中包括以下这些工具：
SAS Enterprise Miner、IBM Intelligent Miner、SPSS Clementine、Oracle Darwin、
Angoss KnowledgeSeeker 等等。
综合数据挖掘工具说明商业对具有多功能和决策支持工具的真实和迫切的需
求。商业要求该工具能提供管理报告、在线分析处理和在普通结构中的数据挖掘
能力。这些综合工具的例子包括：Cognos Scenario 和Business Objects。
面向特定应用工具这一块正在迅速发展，在这一领域的厂商设法通过提供商
业方案而不是寻求方案的一种技术来区分自己和别的领域的厂商。从定义上说，
这些工具的范围在本质上是垂直的，其中包括：重点在零售业的工具、重点在保
险业的工具、重点在欺诈行为探查的工具、重点在市场的工具。
图3商业智能系统框架
图3所示是商业智能系统的框架，本文结合具体应用，研究数据分析、数据
挖掘在中小企业的使用，首先针对销售和市场数据进行研究；其中数据挖掘方面
主要研究随 MicroSoft Analysis Service 提供的两种微软数据挖掘算法的应用。
中小企业商业智能系统解决方案的研究
8
第二章 中小企业商业智能系统解决方案理论
IDC 将商业智能系统解决方案定义为帮助企业跟踪、分析、模拟和预测他们
自己的业务过程以及他们的客户、供应商和合作伙伴关系的解决方案。从技术架
构来讲，商业智能系统主要由数据源、数据仓库系统、商业智能应用等几个部分
组成。
在当今的商业环境中，市场竞争日益激烈，它促使企业和机构在信息系统的
建设上不仅仅需要对业务流程的支持，同时需要从信息系统中获得从客户、营销、
企业的运营状况到供应渠道的通畅与否等高层次的分析决策信息，并且将决策结
果运用于日常业务以提高企业整体效益。然而，传统的业务系统则是针对分离的
事务处理而设计，并不擅长于多层次的分析和统计。由此，商业智能应用应运而
生，它通常是一个独立的系统，能够从传统业务系统中获取各类客户数据和业务
数据，由此建立多层次的分析体系，并将其转化成有商业意义的信息。
按照 W.H.Inmon，数据仓库系统构造方面的权威设计师的说法：“数据仓库是
一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过
程”。这个简短而又全面的定义指出了表明数据仓库主要特征的四个关键词：面向
主题的、集成的、时变的、非易失的，将数据仓库与其他数据存储系统（如关系
数据库系统、事务处理系统和文件系统）区别开来。下面我们进一步看看这些关
键特征：
面向主题的（subject-oriented）：数据仓库围绕一些主题，如顾客、供应商、
产品和销售组织。数据仓库关注决策者的数据建模与分析，而不是集中于组织机
构的日常操作和事务处理。因此，数据仓库排除对决策无用的数据，提供特定主
题的简明视图。
集成的（integrated）：通常，构造数据仓库是将多个异种数据源，如关系数据
库、一般文件和联机事务处理记录集成在一起。使用数据清理和数据集成技术，
确保命名约定、编码结构和属性度量等指标的一致性。
时变的（time-variant）：数据存储从历史的角度（例如过去 5-10 年）提供信息。
数据仓库中的关键结构，隐式或显式地包含时间元素。
非易失的（nonvolatile）：数据仓库总是物理地分离存放数据；这些数据来源
于操作环境下的应用程序。由于这种分离，数据仓库不需要事务处理、恢复和并
发控制机制。通常，它只需要进行两种数据访问：数据的初始化装入和数据访问。
简而言之，数据仓库是一种语义上一致的数据存储，它充当决策支持数据模
型的物理实现，并存放企业战略决策所需信息。数据仓库也常常被看作是一种体
系结构，通过将异种数据源中的数据集成在一起而构造，支持结构化的和专门的
查询、分析报告和决策。
数据集市(data mart)则是数据仓库的一个部门子集。它聚焦在选定的主题上，
是部门范围的。
摘要：

第一章绪论1第一章绪论商业智能（BusinessIntelligence，即BI）是目前在国内外企业界和软件开发行业中受到广泛关注的一个研究方向。这种研究热点出现的原因主要如下：一、信息技术的高速发展带来了企业利用信息技术提高本身竞争力的巨大空间：信息技术不但使企业获取需要的信息，而且，促进企业对信息的再利用，以此营造企业的竞争优势；二、IT业界许多以提供软件平台和工具平台的大公司通过多年与企业的交流，已经认识到企业对商业智能的迫切需求，纷纷加入到商业智能的研究与开发上来。IBM建立了专门从事商业智能方案设计的研究中心，ORACLE、微软等公司纷纷推出了支持商业智能开发和应用的软件系统，有的则...

展开>> 收起<<
中小企业商业智能系统解决方案的研究.pdf

共71页,预览8页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：陈辉 分类：高等教育资料 价格：15积分 属性：71 页 大小：1.16MB 格式：PDF 时间：2024-11-20

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 71
评分 收藏
分享
立即下载 VIP免费下载
客服
关注