Web搜索引擎工作原理和体系结构

VIP免费
3.0 朱铭铭 2024-09-20 5 4 3.01MB 57 页 150积分
侵权投诉
Web 搜索引擎工作原理和体系结构
第一章 绪论
1.1 课题背景
在世界经济一体化、全球化不断加快的今天，信息技术越来越广泛地应用于各个领域。
电子商务作为信息技术与现代经济贸易活动结合的产物，成为人类进入知识经济时代的重要
标志之一。它不仅会改变着企业本身的生产、经营、管理活动，而且将影响到整个社会的经济
运行与结构，并最终影响到国家在国际经济生活中的地位和作用。电子商务有四大主要的体
系，第一是信用体系，第二是要具有强大的市场，第三是完善的支付体系，第四便是健全的
搜索功能，信用、市场、支付和搜索将成为中国电子商务的四大护法。未来电子商务的发展跟
搜索引擎是密不可分的，全世界的电子商务离不开搜索引擎，全世界的搜索引擎也离不开中
国的搜索引擎。
随着因特网的发展，网上资源日益丰富，越来越多的人开始从网上获取信息。搜索引擎
成为互联网上最重要的应用之一，其能够协助用户在浩如烟海的互联网信息中找到用户所需
的信息，深受网民的喜爱。目前，互联网搜索引擎已经成为人们网上冲浪获取知识、查找信
息的一个重要手段。经过近十年来的高速发展，已经形成了几个有代表性的功能强大的搜索
引擎，如 google、baidu 等我们经常使用的搜索引擎。作为比较有代表性的产品，它们吸收并
集成了相关领域最先进的技术并给用户提供了友好方便的使用环境和多样、灵活的扩展功能。
课题的目标在于建设一个与北京彤彩空间视觉装饰材料有限公司发展相一致的电子商务
平台，扩大其影响力与知名度，并展现出北京彤彩空间视觉装饰材料有限公司的实力，从而
为北京彤彩空间视觉装饰材料有限公司的网站经营起到促进作用。北京彤彩空间视觉装饰材
料有限公司网站在设计上遵循高起点，结合网站论坛业务，以网站页面设计的审美标准和艺
术效果需求着手，从充分体现人性化的开发建设思想，在技术和服务上进行应用探索，秉承
北京彤彩空间视觉装饰材料有限公司“精益求精，好还要好”的专业精神，以充分体现北京
彤彩空间视觉装饰材料有限公司“以优良品质、多样化选择来满足消费大众的需求”的经营
理念。
课题采用动态网页技术，及时对网站的数据进行更新、修改、删除等，通过网站的动态管
理，大大提高对网站数据的操作。除此以外，课题在设计该商务平台时针对课题目标，还制
定了一系列的设计原则：
1）表现性（Representation）
设计采用B/S 方式，通过丰富灵活的 WEB 页面表现方式，最大限度的方便用户部署和
维护大型网站系统。各种栏目页面的字体、颜色、大小等显示属性均可由网站维护人员自定义
从而保证方便、快速的构建丰富的、个性化的门户网站。
2）专业性（Specialization）
Web 搜索引擎工作原理和体系结构
要求相结合公司自身的实际状况，做好对公司的宣传和电子商务服务，对外介绍北京彤
彩空间视觉装饰材料有限公司网站自身，最主要的目的是向外界招展，从而创造更多的商机。
同时，还提供国内各个省市驻外机构的岛外延伸服务。提供国内的信息，进行统一的专项营
销服务。占据国内面向国际市场重要窗口，使公司更加快步伐走向国际市场。
3）实用性 （Utility）
实用性要求网站提供的功能服务应该是切合浏览者实际需求的，且符合北京彤彩空间视
觉装饰材料有限公司网站的特点。
4）易操作性（Maneuverability）
界面设计的核心是让用户更容易操作，信息的获取更加的方便，不论是浏览的用户还是
网站运营维护的系统用户，设计的界面易于操作，不需对互联网技术很深了解，体现人性化
的特点。
5）艺术性（Artwork）
艺术性要求页面创作从某种意义上要达到吸引眼球的目的。将在北京彤彩空间视觉装饰
材料有限公司网站的网页设计上借鉴一些知名网站的设计特点，并注重融合企业发展形象，
打造"彤彩"这一优势品牌，并推广成为各媒体、各区域主流。
6）性能（Performance）
访问速度，取决于服务器接入方式和接入带宽、摆放地点、硬件性能和页面数据量、网络
拥塞程度等多方因素。由于采用全数据库的设计，使得网站内的信息的检索变得非常方便，
数据库内的任何内容，用户都可以方便的检索出来，支持标题和全文检索，免去一页页翻看
之苦。
7）安全性（Security）
安全性对一个网站是足以轻重的地位，安全问题直接就对网站的运行，有重要作用，所
以要在网页中对会员及管理员进行身份确定，确保信息的安全。安全性要求北京彤彩空间视
觉装饰材料有限公司网站系统的开发建设应考虑全面的安全措施，如网站管理员身份确定、
信息的安全、不可否认和修改等。
除上述开发要求外，北京彤彩空间视觉装饰材料有限公司网站系统更进一步从自身开发
目的出发，加入个性化搜索引擎的设计理念，允许用户通过网站页面实现品牌搜索、风格搜
索、图案搜索、材质搜索、颜色搜索以及型号搜索等个性化搜索功能，为用户提供更多渠道以
展现公司业务内容，将搜索引擎技术和电子商务融为一体，体现电子商务发展的新导向。
1.3 课题技主要理论和最终目标
课题以宣扬北京彤彩空间视觉装饰材料有限公司企业形象和业务为核心，提供丰富动、
静态信息，强调文化、交流、商务等多种功能服务，配合各种经营活动，将北京彤彩空间视
觉装饰材料有限公司网站建成“彤彩”品牌门户网站。同时在实现门户网站建设的同时，更
将技术重点放到了搜索功能上，采用独立搜索引擎技术，对搜索核心算法、关键字处理和结
果处理都作了极大优化，使其能够提供更为强大、安全和快速的搜索功能。
Web 搜索引擎工作原理和体系结构
搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些 ROBOTS 在网络上沿着
网页上的链接（一般是http 和src 链接）不断抓取资料建立自己的数据库。 对于网站管理者
和内容提供者来说，有时候会有一些站点内容，不希望被 ROBOTS 抓取而公开。为了解决这
个问题，ROBOTS 开发界提供了两个办法：一个是 robots.txt，另一个则是The Robots META
标签。
robots.txt 是一个纯文本文件，通过在这个文件可以声明该网站中不想被 robots 访问的部
分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录
指定的内容。 当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在
robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件
不存在，那么搜索机器人就沿着链接抓取。 robots.txt 必须放置在一个站点的根目录下，而且
文件名必须全部小写。
robots.txt 文件主要用于限制整个站点或者目录的搜索引擎访问情况，而 Robots META 标
签则主要是针对一个个具体的页面。和其他的META 标签（如使用的语言、页面的描述、关键
词等）一样，Robots META 标签也是放在页面的<head></head>中，专门用来告诉搜索引擎
ROBOTS 如何抓取该页的内容。
目前看来，绝大多数的搜索引擎机器人都遵守robots.txt 的规则，而对于Robots META
标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎 GOOGLE 就完全支持。在课
题建设中，作者采用robots.txt 方法用以确定搜索和不想被搜索的网站内容，不仅可以提高
搜索的效率，更加提高了搜索的安全性。
Web 搜索引擎工作原理和体系结构
第二章 搜索引擎的分析与设计
2.1 搜索引擎基本要求
接受用户通过浏览器提交的查询词或者短语，记作Q。在一个可以接受的时间内返回一
个和该用户查询匹配的网页信息列表，记作L。这个列表的每一条目至少包含三个元素（标
题，网址链接，摘要）。
“可以接受的时间”，也就是响应时间。对于在 Web 上面的软件来说，这个时间不能太
长，通常也就在“秒”这个量级。这是衡量搜索引擎可用性的一个基本指标，也是和传统信
息检索系统的一个差别。更进一步的，这样的响应时间要求不仅要能满足单个用户查询，而
且要能在系统设计负载的情况下满足所有的用户。也就是说，系统应该在额定吞吐率的情况
下保证秒级响应时间。“匹配”，指的是网页中以某种形式包含有Q的内容，其中最简单、
常见的形式就是Q在其中直接出现。不过后面我们会看到，如果一个搜索引擎就是以百分之
百满足这种简单的包含关系为目标，即使实现了也并不就达到了最好的效果。
“列表”，这蕴含着一种“顺序”。绝大多数情况下，L是相当长的，例如超过1万个
条目（这是和图书馆全文检索系统的又一个不同，那里返回的列表通常较短，例如几十个条
目）。这不仅是由于Web 上的信息量大，也由于搜索引擎的查询方式简单。简单，意味着抽
象；抽象，意味着有更多的具体事物可能是它的体现。对于一个长长的列表，很少有用户有
耐心都审视一遍（不仅是因为长，还因为大多数使用搜索引擎的用户通常都是“找到为止”，
而不是“不全部找到不罢休”，加上这个列表中和一个用户关心的其实只占很少的比例）。
有分析统计表明，用户平均察看返回结果不超过2页。现代大规模高质量搜索引擎一般采用
三段式的工作流程，即:网页搜集、预处理和查询服务。
如果说软件系统是工作在数据集合上的程序的话，这个软件系统操作的数据不仅包括内
容不可预测的用户查询，还要包括在数量上动态变化的海量网页，并且这些网页不会主动送
到系统来，而是需要由系统去抓取。首先，我们考虑抓取的时机:事先还是即时。在网络比较
畅通的情况下，从网上下载一篇网页大约需要 1 秒钟左右，因此如果在用户查询的时候即时
去网上抓来成千上万的网页，一个个分析处理，和用户的查询匹配，不可能满足搜索引擎的
响应时间要求。不仅如此，这样做的系统效益也不高(会重复抓取太多的网页)；面对大量的
摘要：

Web搜索引擎工作原理和体系结构第一章绪论1.1课题背景在世界经济一体化、全球化不断加快的今天，信息技术越来越广泛地应用于各个领域。电子商务作为信息技术与现代经济贸易活动结合的产物，成为人类进入知识经济时代的重要标志之一。它不仅会改变着企业本身的生产、经营、管理活动，而且将影响到整个社会的经济运行与结构，并最终影响到国家在国际经济生活中的地位和作用。电子商务有四大主要的体系，第一是信用体系，第二是要具有强大的市场，第三是完善的支付体系，第四便是健全的搜索功能，信用、市场、支付和搜索将成为中国电子商务的四大护法。未来电子商务的发展跟搜索引擎是密不可分的，全世界的电子商务离不开搜索引擎，全世界的搜...

展开>> 收起<<
Web搜索引擎工作原理和体系结构.doc

共57页,预览4页

还剩页未读， 继续阅读

相关推荐

更多
立即下载
作者：朱铭铭 分类：高等教育资料 价格：150积分 属性：57 页 大小：3.01MB 格式：DOC 时间：2024-09-20

开通VIP享超值会员特权

  • 多端同步记录
  • 高速下载文档
  • 免费文档工具
  • 分享文档赚钱
  • 每日登录抽奖
  • 优质衍生服务

作者详情

相关内容

更多

推荐作者

热门标签

/ 57
评分 收藏
分享
立即下载 VIP免费下载
客服
关注