网络通信信息检索技术

　　1.信息检索现状

　　1.1现状

　　网页是因特网的最主要的组成部份，也是人们获取网络信息的最主要的来源，为了方便人们在大量繁杂的网页中找寻自己需要的信息，这类检索工具发展的最快。一般认为，基于网页的信息检索工具主要有网页搜索引擎和网络分类目录两种。网页搜索引擎是通过“网络蜘蛛”等网页自动搜寻软件搜索到网页，然后自动给网页上的某些或全部字符做上索引，形成目标摘要格式文件以及网络可访问的数据库，供人们检索网络信息的检索工具。网络目录则是和搜索引擎完全不同，它不会将整个网络中每个网站的所有页面都放进去，而是由专业人员谨慎地选择网站的首页，将其放入相应的类目中。网络目录的信息量要比搜索引擎少得多，再加上不同的网络目录分类标准有些混乱，不便人们使用，因此虽然它标引质量比较高，利用它的人还是要比利用搜索引擎的人少的多。

　　1.2发展趋势

　　网络信息检索工具的发展主要体现在进一步改进、完善检索工具和检索技术，以提高检索服务质量，改变网络信息检索不尽如意的地方。主要体现在以下几个方面：

　　1.2.1网络检索工具开发提供商之间合作越来越紧密。过去一般网络检索工具提供商只依靠自己建立的数据库来提供检索服务，检索范围有限，而现在某些著名的搜索引擎在购买其他公司的数据库或者技术内核，有的与其他搜索引擎建立伙伴关系，以便用户使用。

　　1.2.2信息检索工具专业化及服务内容深化。一些检索工具已经不再盲目追求加大收录和标引量，而更加注重突出专业特色。

　　1.2.3网络信息工具智能化的发展趋势：

　　（1）信息检索工具的智能化首先是网络蜘蛛的智能化。

　　（2）其次是检索软件的智能化。

　　2.基于FTP文件的搜索工具

　　2.1现状

　　如前所述，搜索引擎的雏形以及最早的搜索引擎都是基于FTP文件搜索的。最早的FTP搜索引擎是基于文本显示的Archie。后来由于WEB的出现，FTP搜索引擎发展受到了一定的影响。直到基于WEB的FTP搜索引擎出现，它才越来越多受到人们的欢迎，用户量也在迅速上升，重要性也日渐显现出来。FTP搜索引擎的功能是搜集匿名FTP服务器提供的目录列表并向用户提供文件信息的查询服务。目前，国内做的最好的、规模最大的当属天网FTP文件搜索引擎，现在可以搜索2400万个文件（数据来源于天网主页），2002年时的统计日访问量是40万次，这在世界FTP搜索引擎界也算是一个佼佼者。

　　2.2发展趋势

　　正如前文所述，FTP文件搜索引擎技术还不是很成熟，但其发展非常迅速，其发展趋势主要表现在以下几个方面：

　　2.2.1检索功能日益丰富。天网FTP文件搜索引擎现在可以实现以文件大小、文件的上传日期、以及网段（比如说是华北网、华东网等）等多个条件的高级检索来限制检索结果；AlltheWeb增加了检索方式（规则表达检索、准确检索、浏览、对大小写敏感与否等等），限制主机（是edu还是gov或者com等），文件类型以及文件大小、日期等功能。

　　2.2.2检索服务的个性化。现在FTP搜索引擎研究者已经开始注意这一方面，天网ftp搜索引擎已经有了很多可以个性化的选项：可以设置用户不同偏好的排序方式，可以设定国外文件优先还是本国文件优先，对于国外用户是不是应该国外文件优先，是FTP上文件优先还是WWW上的文件优先，是选择中文的还是英文的等等。AlltheWeb则是可以完成更丰富的个性化设置，比如说可以选择一个主机提供一个结果、设置语言、搜索的文件大小设置、是否亮度显示搜索关键词、设置使用者语言、以及键盘快捷键等等。

　　3.基于网络检索工具的检索技术

　　3.1随着网上信息资源的膨胀发展，一种搜索引擎，无论它多么完善都不可能满足一个人所有的检索需求。如果遇到文献普查、专题查询、新闻调查与溯源、软件及MP3下载地址搜索等情况，人们就更需要使用多种搜索引擎来比较、筛选和相互印证。为解决逐一登陆各搜索引擎，在各搜索引擎中分别多次输入同一检索请求（检索字串）等烦琐操作，基于网络检索工具的检索工具产生了。目前这列检索工具只要有两种：集成搜索引擎和元搜索引擎。所谓集成搜索引擎是在一个检索界面上链接若干种独立的搜索引擎，检索时，一次检索输入，可以指定搜索引擎也可以要求多个引擎同时检索，搜索结果由各搜索引擎分别以不同页面提交的网络检索工具，其实是利用网站链接技术形成的搜索引擎集合。集成搜索引擎制作与维护技术简单，可随时对所链接的搜索引擎进行增删调整和及时更新，尤其大规模专业（如FLASH、MP3等）搜索引擎集成链接，深受特定用户群欢迎。

　　3.2发展趋势。这类检索工具的发展趋势主要表现在下面几个方面：

　　3.2.1检索结果整理的深化。如Vivisimo、EZ2WWW、MetaCrawler等可以实现搜索结果的自动分类，用户即可以利用传统的方式浏览结果，也可以利用其同屏的分类结果提示找寻自己需要的内容。EZ2WWW高级搜索功能提供1000多种专项资源检索，可进行目录检索。SurfWax有一个其它元搜索引擎没有的独特功能，即点击每条结果左边的“网址揿钮”图标，可浏览该结果包括的任何页面，并显示搜索语句在文件中的位置，也可以把搜索结果和文件存储起来以备后用。天网搜霸已经拥有了独特的链接检测功能，在几秒钟内检查当前页面查询结果是否可以访问，如果为标注绿色，则链接可连通。

　　3.2.2检索界面的个性化趋势。天网搜霸和Google提供了IE浏览器的插件，安装后就会被嵌到IE的工具栏，用户不用登陆天网的主页，就可以实现检索。用户可以将自己喜欢的搜索引擎设置为主要搜索，也可以添加用户自己喜欢的搜索引擎。天网搜霸不久前刚刚推出了可以嵌在Windows系统任务栏上的插件，现在用户连打开IE浏览器都不需要了。Mamma可以选择使用短语检索功能、设定检索时间、设定每页可显示记录数，还提供了专门检索页面文件标题的特殊检索服务，以及通过E－mail传输检索结果的特色功能。MetaCrawler可以实现搜索引擎的选择调用，基于域名、地区或国家的检索结果过滤，最长检索时间设置，每页可显示的和允许每个搜索引擎返回的检索结果数量的设定，设定检索结果排序依据（包括相关度、域名、源搜索引擎）个性化定制保存。

　　3.2.3智能化。ProFusion可以自动实现符合特殊检索语法要求的转换，如在调用Excite、InfoSeek、WebCrawler时将“NEAR”转换成“AND”，在调用GoTo、Yahoo时将“NOT”删除等；Mamma也支持常用检索语法在不同搜索引擎中的转换；C4可以支持自然语言检索，虽然它没有自己的数据库，却可以提供网上的检索结果。