浅谈搜索引擎的体系结构 |
发布时间: 2012/9/17 14:41:19 |
在网站优化公司呆了这么久,也总结了一些知识,和大家分享一下:搜索引擎的结构清晰,分工明确。按照各自的功能划分,分为以下4大系统:
(1)下载系统;
(2)分析系统;
(3)索引系统;
(4)查询系统;
其中下载系统负责从万维网上下载各种类型的网页,并且保持对万维网变化的同步。
分析系统负责抽取下载系统得到的网页数据,并进行PageRank和分词计算。
索引系统负责将分析系统处理后网页对象索引入库。
查询系统负责分析用户提交的查询请求,然后从索引库中检索出相关网页并将网页排序后,以查询结果的形式返回给用户。
从细节上看,网页从开始到最后都是网页。而在搜索引擎的内部会有两种不同的形式,一种以网页库的方式存储;一种成为网页对象被存储在索引库中。搜索引擎的主要数据来自网页,网页处理能力是搜索引擎面对的主要挑战,下载系统和索引系统分别会进行一些关于数据存的相关知识的介绍。 本文出自:亿恩科技【www.enkj.com】 |