网络流量专家系统的研究

VIP免费

3.0 高德中 2024-11-19 9 4 2.66MB 59 页 15积分

侵权投诉

摘要

本文面向复杂的网络流量和持续变化的网络特性的研究，自主设计了网络流

量专家系统，采集DipSIF平台内的客户端的网络流量以供研究使用。研究人员可

以充分利用平台采集到的流量数据用于研究网络流量特性，进行流量预测以及网

络流量异常检测与定位的研究，并制定相应的措施应对网络危害。这种平台的设

计不仅为从事网络流量的研究者提供了大量的用于网络测试的真实数据，也为研

究出流量控制新方法提供了科学依据。整个网络流量专家系统不仅设计了共享IP

流量记录的分布式平台，同时还对网络特性预测，并进行异常分析与定位。综上

所述，本文的主要应用包含以下三个方面：

1．共享 IP 流量记录分布式平台的设计与实现

本文介绍了共享 IP 流量记录的分布式平台开发(DipSIF)。DipSIF 对从不同机

构所采集的流量记录实现共享，以便使研究人员在不同地方使用。为了实现流量

轨迹数据共享，平台提供了定义好的接口，允许研究人员能够以访问存储在本地

的NetFlow 记录的方式远程访问存储在网络主机中的流记录。同时，为了履行保

护数据的保密性和安全性、并遵守网络法规的协议，该平台使用了预保留、基础

加密、一致性匿名算法。

2．网络流量自回归移动平均季节乘积混合预测模型

本文采用自回归移动平均季节乘积混合预测模型对从数据库中获取DispSIF平

台收集到的数据建模并预测。实验证明，在实际的网络中，使用不同的网络，其

流量特性各不相同，采用自回归移动平均季节乘积混合模型预测所得到的网络流

量趋势与实际数据曲线基本相似，基本上把误差百分比的绝对值控制在12%左右。

3．网络异常检测与分析

网络流量异常检测及分析是网络及安全管理领域的重要研究内容，本文根据

网络流量的信号特性和自相似性，利用小波变换局部放大能力及Hurst和李氏指数

的变化与网络流量异常的对应关系，提出了一种基于小波分析的网络流量异常检

测与定位方法。根据自相似指数的值在大时间尺度上来判定异常发生，并进一步

在小时间尺度下基于李氏指数与信号奇异性的对应关系来分析并定位异常点。此

方法通过DipSIF平台所采集的数据进行仿真验证，可有效的检测网络流量异常并

定位异常发生点，与传统方法相比，异常检测的有效率更高。

关键词：网络流量特性分布式平台预测模型异常检测

ABSTRACT

It has designed network traffic expert system independently to collect the network

traffic of the clients of the DipSIF for researching, which is based on the complex

network traffic and the constant changes of network characteristic. Researchers can take

advantage of the data collected by the platform to study the characteristic of network

traffic for the research on the traffic forecasting and network traffic anomaly detection

& localization, so develop appropriate measures to deal with network hazard. This

platform supplies a large number of real data for researchers engaged in network traffic

to reseach the characteristic of the network traffic, but also provides a scientific proof

for developing a new method of flow control. It not only has designed a distributed

platform for sharing IP flow records, and also does a lot of reseach on the network

prediction and abnormal analysis & localization. In summary, the main application of

this article contains the following three aspects:

1. Design and Implement a distributed platform for sharing IP flow records

This paper introduces a distributed platform for sharing IP flow records (DipSIF).

It can make the data collected by DipSIF from different agencies share flow records, so

researchers in different places can use them. It provides defined interface for sharing

flow traces, allowing researchers to access NetFlow records stored in the network host

by the way of remote accessing as accessing NetFlow records stored in local host.

Meanwhile, in order to fulfill protect data confidentiality and security, and compliance

with laws and regulations of the protocol network, the platform uses the pre-reserved,

basic encryption, consistency anonymous algorithm.

2. Network traffic prediction model ARIMA seasonal multipile mixed model

In this paper, the seasonal multipile mixed ARIMA model makes model and

forecasts according the data obtained from the database, whose data collected by

DispSIF. The experiments show that the traffic trend curve which uses the forecasting

model is consistent with the actual data traffic trends curve, and the absolute percentage

is about.

3. Network Anomaly Detection and Location

Traffic anomaly detection and analysis of network is the important research of the

network and security management. The paper introduces a method of based on wavelet

analysis of network traffic anomaly detection and localization according to signal

characteristic and self-similarity characteristic of the network traffic, which makes use

of transform and local amplication of the wavelet and the correspondence between the

change of Hurst & Lipschitz index with thenetwork traffic anomaly. It decides that

wheather abnormal traffic has happened according to the change of sel-similar Hurst

index on large time scales, and further makes use of the correspondence between

Lipschitz index with the singularity of signal in small time scales to analysis the

anomaly point, and then locates the points that network traffic anomaly occured. It is

verified by simulated experiment with the data collected by DipSIF platform, which can

effectively detect and locate the abnormal network traffic points that anomaly occurred.

Comparing with traditional methods, it is more efficient.

Keywords: Network, traffic characteristics, DipSIF, forecasting model,

Anomaly Detection

摘要

ABSTRACT

第一章绪论 .......................................................... 1

§1.1 引言 ......................................................... 1

§1.2 流量测量与建模的意义 ......................................... 1

§1.3 主要研究内容 ................................................. 3

第二章网络流量 ...................................................... 5

§2.1 引言 ......................................................... 5

§2.2 网络流量的基本概念 ........................................... 5

§2.2.1 网络流量的定义 ........................................... 5

§2.2.2 流的基本概念 ............................................. 5

§2.3 网络流量采集与存储 ........................................... 6

§2.3.1 网络流量采集 ............................................. 6

§2.3.2 网络流量数据存储与共享 ................................... 7

§2.4 网络流量监测及性能 ........................................... 8

§2.4.1 网络流量监测 ............................................. 8

§2.4.2 网络性能测量与分析 ...................................... 10

§2.5 流量预测及异常检测与分析 .................................... 11

§2.5.1 流量预测 ................................................ 11

§2.5.2 流量异常检测与分析 ...................................... 13

§2.6 网络流量专家系统 ............................................ 15

§2.7 小结 ........................................................ 16

第三章共享 IP 流量记录分布式平台设计与实现 .......................... 17

§3.1 引言 ........................................................ 17

§3.2 流量采集与记录匿名 .......................................... 17

§3.2.1 流记录的采集和储存 ...................................... 17

§3.2.2 流记录匿名化 ............................................ 18

§3.3 设计 ........................................................ 19

§3.3.1 需求 .................................................... 19

§3.3.2 框架 .................................................... 19

§3.3.3 客户端组件 .............................................. 21

§3.3.4 服务器组件 .............................................. 22

§3.3.5 存储组件 ................................................ 23

§3.4 实现 ........................................................ 24

§3.5 总结 ........................................................ 27

第四章流量记录预测数学模型 ......................................... 28

§4.1 引言 ........................................................ 28

§4.2 自回归移动平均季节乘积混和模型 .............................. 28

§4.2.1 自回归移动平均模型 ...................................... 28

§4.2.2 自回归移动平均乘积混合数学模型 .......................... 29

§4.3 流量数据预测与实际数据对比分析 .............................. 30

§4.3.1 模型结构及数据采集 ...................................... 30

§4.3.2 应用模型及结果分析 ...................................... 31

§4.4 结束语 ...................................................... 34

第五章网络流量异常检测 ............................................. 35

§5.1 引言 ....................................................... 35

§5.2 相关理论及相关概念 .......................................... 37

§5.2.1 网络流量自相似性 ........................................ 37

§5.2.2 李氏指数 ................................................ 37

§5.2.3 小波分析 ................................................ 38

§5.3 建立流量异常分析及定位模型 .................................. 39

§5.3.1 基于小波系数方差法求解 Hurst 指数 ........................ 39

§5.3.2 基于 Hurst 指数变化的网络流量异常检测方法 ................ 39

§5.3.3 模极大值与李氏指数的关系 ................................ 40

§5.3.4 模极大值的网络流量异常时刻定位方法 ...................... 41

§5.4 流量异常检测及定位的模型 .................................... 41

§5.5 实验设计及结果分析 .......................................... 43

§5.5.1 仿真环境和实验数据 ...................................... 43

§5.5.2 实验结果及分析 .......................................... 43

§5.6 结束语 ...................................................... 46

第六章总结与展望 ................................................... 47

§6.1 总结 ........................................................ 47

§6.2 未来研究工作 ................................................ 48

§6.2.1 DipSIF 平台的进一步加强与优化 ............................ 48

§6.2.2 监测方法的改进 .......................................... 48

第一章绪论

§1.1 引言

随着科学技术的发展，网络规模不断扩大，成为生活必不可缺的一部分，人

们对网络的依赖日益增加。因此，为了保证网络的可用性、可靠性和稳定性，以

及网络正常、高效地运行，研究网络流量的特性是当务之急。与此同时，网络的

规划设计、设备开发和管理维护的研究等也就越来越重要。基于移动、异构、高

带宽的新一代互联网发展变得日益复杂。其一业务本身对服务质量保障与网络资

源管理提出了更高的要求；其二它们改变了网络资源组织、运行特征与业务行为

特征。网络传输性能不仅仅影响业务性能，同时，定位、资源分布、用户使用资

源的方式也直接影响业务的服务质量。

获取新一代大规模复杂网络与业务运行状态，理解网络与业务行为特征并建

立精确的理论模型，不仅仅可以获悉当前因特网的基本缺陷，更是将来新一代网

络协议与体系结构设计的基础。网络流量测量与分析是当前网络研究基本的挑战

与机会，也是迫切需要解决的基础性科学问题。与此同时，基于流量研究的数据

多数来自于局域网或者运营商提供的部分数据，因此缺乏更为真实更为可靠的数

据来源，以至于不能更好的全面客观的研究网络流量特性。本文的重点是用于研

究的流量采集的分布式平台的设计与实现，用于获取更为真实的流量数据，以便

更好的用于互联网流量测量和流量模型的研究。

§1.2 流量测量与建模的意义

随着网络技术和网络应用的不断发展,网络的流量特性发生了根本性的变化，

很难完全掌握网络运行的客观规律以及对网络性能和行为的深入理解。因此，很

难使用一个很好的数学模型可以对其做出模拟和预测。网络测量是对网络认识的

基础，因此，网络流量测量是协议设计、网络性能与设备开发提升的基础；同时

对网络性能分析与预测、网络流量建模、网络拓扑结构和网络协议设计、网络设

施部署、网络规划以及流量控制、拥塞管理、流量均衡等都具有重要的意义。

此外，建立合理的网络模型是现代网络管理系统的重要组成部分，可以使研

究人员具体地掌握网络的特性，实施流量控制，合理调配资源，为用户和各种终

端及业务提供更优越的QoS保证和网络应用，实现网络的高效应用和管理。

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

摘要本文面向复杂的网络流量和持续变化的网络特性的研究，自主设计了网络流量专家系统，采集DipSIF平台内的客户端的网络流量以供研究使用。研究人员可以充分利用平台采集到的流量数据用于研究网络流量特性，进行流量预测以及网络流量异常检测与定位的研究，并制定相应的措施应对网络危害。这种平台的设计不仅为从事网络流量的研究者提供了大量的用于网络测试的真实数据，也为研究出流量控制新方法提供了科学依据。整个网络流量专家系统不仅设计了共享IP流量记录的分布式平台，同时还对网络特性预测，并进行异常分析与定位。综上所述，本文的主要应用包含以下三个方面：1．共享IP流量记录分布式平台的设计与实现本文介绍了共享IP流量...

展开>> 收起<<

网络流量专家系统的研究.pdf

共59页,预览6页

还剩页未读，继续阅读

网络流量专家系统的研究

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: