互联网航空数据抓取系统

VIP免费

3.0 李琳琳 2024-10-12 19 4 1.1MB 78 页 15积分

侵权投诉

东北大学硕士毕业论文中文摘要

网页数据抓取系统的研究与设计

摘要

随着国际互联网的快速发展，进入了一个信息膨胀的时代。如何浏览、使用这些信息成

为我们关注的问题。网络数据抓取的概念由此应运而生。通过数据抓取能够准确的发现我们

所关心的信息，大大提高了网络的使用效率。本文应用软件工程的原理，解决了航空类机票

数据抓取问题。运用面向对象的方法，结合封装技术，编制了数据抓取特定算法。解决了利

用飞机出行的顾客查找机票不方便的问题，提高了机票查找的准度与效率。

本文首先介绍了信息提取技术及其产生背景和发展历史，分析了信息提取系统体系结构

和关键技术。对Web信息提取的途径、主要学习算法、评价标准等进行了相关阐述。由于本

文是对HTML半结构化Web语言就行数据采集，所以本文对现有的XML技术加以研究，在此

基础上提出了适合XML的结构又较为通用的树型结构抽取规则，它能够把Web上的数据抽取

出来整合到指定模式的XML文档中去。Web信息抽取出来，用户如果不能随心所欲的加以利

用，那将是毫无价值的。为了方便用户对抽取出的数据进行二次利用，本文还提出基于

XML的Web查询模式。

在系统设计部分，本系统主要分为机票查询、航班时刻表查询、联程方案三大模块，为

改善现有的航空票务网站的查询精度，需要对票务网站的相关信息进行各种处理。这个处理

过程，是将各个子模块的相关要素结合起来进行整体计划、执行和控制。从而达到一个最佳

的解决方案。联程模型是本次设计的重要组成部分，其功能是对各大航空公司的单程信息进

行汇总，摘取出相映的票价、燃油费和机场建设费等航空信息，然后加入实际的时间约束条

件，组成一个合理的联程方案。在联程方案中，为查询顾客提供了联程票价，两次航班的起

抵时间、起抵机场、搭乘的航空公司的名称等内容。本系统结构清晰，操作简便，可成为乘

坐航班人士的必备工具。

关键词：Web数据抓取；XML；HTML结构树；JSP技术

- I -

东北大学硕士毕业论文中文摘要

- II -

北大学硕士毕业论文英文摘要

Study and Design Internet Data Gathering system

Abstract

With the rapid development of the Internet, we have entered the era of an information

expansion. How to browse, and use this information to become our concern. Grasping the concept

of network data which have emerged. Crawl through data to be accurate we are concerned about the

discovery of information and greatly improve the utilization efficiency of the network. In this paper,

the application of software engineering principles to solve the airline ticket Data Handling

problems. Use of the object-oriented approach, combining packaging technology for data grab

specific algorithm. Solved the use of aircraft for travel customers find tickets inconvenient

problems, and enhance the accuracy of the tickets View and efficiency. The system functions in the

design of modular approach, the system is more precise and easier operation. At the same time,

SQL-Sever2000 used as a database, business logic of the complex procedures on the database

stored procedure, so that the function of the system and data separation to ensure stable operation.

This dissertation introduced the background of information extraction and its history, analyse

the system architecture, the taxonomy of information extraction and the key technology and

weighing measure of information extraction.This paper studies the half-structure Web language-

HTML to data gather and researches the technique of information extraction and the technique of

XML. Based on it, finding a general rule of tree structure, which fits XML structure well. This rule

can extract the data of Web into XML document in some pattern. If users can't utilize information

atl :heir pleasure after Web information is extracted, it will be good for nothing. At the same time,

the author presents a Web query model based on XML. In the summary, extraction technique of

Web information combines with technique of XML store and access, which realize the reuse of Web

data in maximum.

The system consists of air tickets for flights on schedule, the three-module programme, in

order to improve the existing air ticketing website for accuracy, the need for ticketing site of

treatment-related information. This process is that all the relevant elements of sub-module

integrated into the overall planning, implementation and control. To achieve an optimal

- II -

北大学硕士毕业论文英文摘要

solution.The way this design model is an important part of its function is of major airlines summary

of the one-way information, extracted from Xiangyang fares, fuel costs and airport construction fees

aeronautical information, and then adding the actual time constraints conditions, the formation of a

reasonable way of the programme. In the way the programme, in order to provide the customer

enquiries way fares from the two flights arrived in time, arrived from the airport, take the name of

the airline, and so forth. Clear structure of the system, easy to operate, can be required by the flight

instruments.

KeyWords: Web data gather;XML;HTML struct tree; JSP technonogy

- III -

北大学硕士毕业论文                                                                                 目录
目录
摘要.........................................................................I
Abstract....................................................................II
第1章 引 言..................................................................1
1 课题研究背景..........................................................1
2国内外研究现状.........................................................1
3本文的研究意义.........................................................3
4本文主要研究内容.......................................................4
第2章 Web信息提取技术综述....................................................5
1信息提取系统的体系结构.................................................5
2信息提取中的关键技术...................................................8
2.1命名实体识别.....................................................8
2.2句法分析.........................................................8
2.3篇章分析与推理...................................................9
2.4知识获取........................................................10
3 Web信息提取的分类....................................................10
3.1  Web内容提取...................................................11
3.2  Web结构提取...................................................12
3.3  Web使用记录提取...............................................13
4 Web信息提取的途径....................................................14
5 Web信息提取的评价标准................................................16
6本章小结..............................................................16
第3章 系统需求分析和实现技术................................................17
1业务需求分析..........................................................17
2 功能需求.............................................................18
2.1快速的查询单程信息..............................................18
2.2联程特色........................................................18
3 业务流程.............................................................18
2基于树型结构的Web数据抽取规则.........................................20

北大学硕士毕业论文                                                                                 目录
2.1用树型结构表示Web文档...........................................20
2.2算法总体思路....................................................21
2.3抽取数据的XML输出...............................................23
3基于DOM的XML数据访问机制..............................................24
3.1XML数据岛.......................................................24
3.2使用DOM访问XML文档..............................................25
4本章小结..............................................................29
第4章XML与关系数据集成方法分析..............................................30
1 XML数据的关系存储...............................................30
1.1如何建立关系映射...............................................31
1.2建立关系映射的相关模型..........................................31
2基于XML的Web查询处理.................................................34
2.1 现有的XML查询语言..............................................35
2.2 基于XML的Web查询模式...........................................37
3本章小结..............................................................38
第5章 系统及关键技术实现....................................................39
1系统开发平台..........................................................39
1.1JAVA技术........................................................39
1.2 J2EE系统平台...................................................40
1.3 SQL Server数据库...............................................40
2 系统总体模块设计.....................................................41
2.1机票查询........................................................42
2.1机票查询：......................................................42
2.2时刻表查询：....................................................42
2.3联程方案：......................................................43
3 数据库设计...........................................................43
4 系统核心算法.........................................................46
5 用到的关键技术.......................................................48
6 HTTP协议.............................................................52

北大学硕士毕业论文                                                                                 目录
7  二次抓取............................................................54
8  联程模型............................................................55
9系统性能测试..........................................................56
9.1运行环境........................................................56
9.2系统运行测试....................................................56
10本章小结.............................................................58
第六章 结论与展望...........................................................59
1全文总结..............................................................59
2课题展望..............................................................59
参考文献....................................................................61

北大学硕士毕业论文目录

文档加载中……请稍候！
如果长时间未打开，您也可以点击刷新试试。

下载文档到电脑，查找使用更方便

15 积分 4人已下载

立即下载 VIP免费下载

摘要：

东北大学硕士毕业论文中文摘要网页数据抓取系统的研究与设计摘要随着国际互联网的快速发展，进入了一个信息膨胀的时代。如何浏览、使用这些信息成为我们关注的问题。网络数据抓取的概念由此应运而生。通过数据抓取能够准确的发现我们所关心的信息，大大提高了网络的使用效率。本文应用软件工程的原理，解决了航空类机票数据抓取问题。运用面向对象的方法，结合封装技术，编制了数据抓取特定算法。解决了利用飞机出行的顾客查找机票不方便的问题，提高了机票查找的准度与效率。本文首先介绍了信息提取技术及其产生背景和发展历史，分析了信息提取系统体系结构和关键技术。对Web信息提取的途径、主要学习算法、评价标准等进行了相关阐述。由于本...

展开>> 收起<<

互联网航空数据抓取系统.doc

共78页,预览8页

还剩页未读，继续阅读

互联网航空数据抓取系统

相关推荐

开通VIP享超值会员特权

作者详情

相关内容

推荐作者

热门标签

举报选择: