编程语言

img lpfhome

RobotDog智能检索平台

发表于2004/10/26 11:03:00  1644人阅读

RobotDog产品方案建议书

1 RobotDog定位

RobotDog是一个具有全文检索和网络spider功能的产品,是世界上第一个基于java技术的支持中文的智能检索平台,可以自动识别不同格式的非结构化信息,着眼于为企业和个人用户提供智能的信息分类和检索功能。不同于一般的网络搜索引擎如googleyahoo等,RobotDog智能搜索引擎具有检索信息快、准确率高的特点。

1.1      背景

企业和组织内部的信息数据,是企业最重要的资源。业内调查表明,目前企业数据每年以200%的速度增长,其中80%的数据以文件、邮件等非结构化数据存放在企业计算机系统的各个角落;企业员工平均每天花两个半小时在寻找资料。

u       组织内存在各种障碍,让信息的运用效率低微:

u       数据量太多,想要取得有用信息,需要耗费大量的时间!

u       数据分布在不同系统中,需要信息时忘记了存放在何处。需要转换多次才能找到。

u       处理新的业务和新问题,不知道组织内部有哪些信息可以使用。

u       采用新的信息管理系统,经常会改变员工的工作习惯,需要花费时间和精力去适应和学习。

u       系统本身实施时间和成本也比较高。

1.2 RobotDog的用途

       就信息的存放方式来看,企业员工自己的信息一般是分散存放在自己的工作机上,而企业/组织的信息则集中存放在企业/组织的数据库和文件服务器上,典型表现形式为企业/组织的网站。因而从应用方式来说,RobotDog可以作为一个桌面端程序检索本地文件系统,也可以作为一个服务器产品以internet/intranet方式检索组织内部信息。

1.3竞争对手

1.3.1 微软

微软未来的产品是我们的潜在桌面端应用方式的竞争对手。微软也打算在未来的loonghorn操作系统里加入的智能搜索功能,但因为要支持多种语言,和longhorn本身的发布遥遥无期,我们的RobotDog将能很快占据桌面端市场。微软还有一个致命弱点,它的产品必须运行在它自己大操作系统下,不支持多种平台。而我们的RobotDog技术基于java技术和各种开源技术,本身是一个开放的系统。

1.3.2 海量科技http://www.hylanda.com

       海量的DESE嵌入式数据库搜索引擎是我们在服务器端的竞争对手。但它的产品基于c++技术,对微软的技术依赖性较强,而且必须使用sql server数据库;不支持图片、二进制文件等数据格式;它的价格比较昂贵。

       而我们的RobotDog不但支持Docexcelemailrtfpdfpschmhtmlxmltxt等常见文本信息的全文检索外,我们也支持对图片等其它格式数据的检索。更为重要的是,我们还支持对压缩文件格式如ziprartarjargzcab等文件的索引。在建立索引时可由用户指定需要建立索引的文件格式,定制非常灵活。我们的数据库使用全文检索库和mysql数据库结合的方式,完全不依赖于操作系统和平台技术。

2 产品方案

       RobotDog的应用方式出发,RobotDog提供两种用户接口。一是面向普通用户的桌面端应用程序:RobotDog个人版。而是面向企业用户的服务器端应用程序:RobotDog企业版。这两个版本的产品都基于RobotDog的核心功能组件,如中文词语切分、全文检索、网络爬虫、多种文件协议支持模块等。典型机构表现如下:

RobotDog 结构示意图

2.1技术线路

RobotDog采用javaJ2EEXML技术,在各种优秀的开源软件的基础上,构筑功能强大的智能检索系统。RobotDog包含许多功能基础件,如中文词语切分、全文检索、网络爬虫、多格式文档和协议的访问接口支持等。这些功能组件除了集成在RobotDog中外,也可单独使用,还可以很方便地基成到各种企业信息系统(CMS/OA/CRM/ERP/企业协同平台)中。

2.1.1 用户接口

RobotDog的用户可能是企业用户,也可能是单机用户。这就要求为RobotDog提供两种用户接口。对企业用户来说,可能会使用集中式管理,一般来说,使用B/S结构的WEB应用程序比较合理。而单机用户主要是使用RobotDog对本地文件系统进行管理和检索,使用GUI程序比较合适。在第一版中,将先实现企业用户的功能,故将先设计

2.1.2 中文分词功能模块

       中文分词功能模块将使用北大计算语言所的中文分词词库,使用修正过的正向最大概率算法MFF,识别率高(准确率在99%以上),可自动识别人名,支持GBK/GB2312/UTF-8/UNICODE等多种编码。为了兼容其它更优秀的分词技术,本模块的程序设计上要充分考虑使用接口进行设计,以方便以后替换更先进的分词技术。北大检索语言所提供了一个C++版本的程序实现,本分词模块将该算法使用java语言重新实现,以避免JNI调用。

2.1.3 全文检索模块

       全文检索使用jakarta项目下的lucene开源工程。见http://jakarta.apache.org/lucene/

2.1.4 多文件格式和MIME协议支持接口

       本功能模块需要实现对docpptxlspdfpsrtfxmlhtmltxt等格式文件的文字信息提取,为lucene进行索引提供输入流。

       本功能模块还要支持对HTTP通信中的多种协议的支持,为Spider和全文检索功能之间提供接口。

2.1.5 Spider功能

       Spider包含两层意思,一是自动分析用户定义的网站目录结构,为全文检索提供该网站的整体视图,二是自动分析用户指定的文件系统,对文件进行全文检索。

2.2 RobotDog个人版

       个人版提供对本地文件系统的全面管理功能。对Docexcelemailrtfpdfpschmhtmlxmltxt文件及其压缩格式可以进行全文检索,对图片等二进制文件可以将相关信息保存在mysql数据库里。这里的相关信息指文件名、路径、大小、作者、创建时间、修改时间、版本历史等。个人版提供一个后台精灵线程,在CPU空闲时自动启动对系统进行索引。一旦建立了索引,用户可使用RobotDog个人版的前端用户界面进行多种方式的搜索,可按关键字、文件名、时间范围等多种手段进行,并且搜索速度非常快。用户使用RobotDog个人版对计算机的文件进行管理后,再也不用担心找不到文件的情况发生了。

       相比而言,现在的windows的检索功能查找一个文件或按关键字查找的方式就太落后了,经常是经过长时间的等待后搜索不出任何东西。RobotDog个人版的市场前景非常看好。

2.3 RobotDog企业版

       相比个人版,RobotDog企业版需要更多企业级计算特性,比如安全、分布式、多线程、数据备份、事务等功能。

       RobotDog企业版建立在J2EE平台,除支持个人版所有功能外,可按多种方式进行索引(增量方式、批量方式、完全重建索引方式),可支持对网站内容进行索引和检索,支持数据的热备份和定期备份。另外,还支持对网站结构进行分析,检查死链接,检查页面完备性,下载整个网站等。

       RobotDog企业版提供二次开发,可与企业现有IT系统无缝集成。

阅读全文
0 0

相关文章推荐

img
取 消
img