CSDN博客

img accesine960
博客专家

计算所汉语词法分析系统ICTCLAS 字典格式解析(字典格式说明)

发表于2005/1/3 12:32:00  3980人阅读

     在 计算所汉语词法分析系统ICTCLAS 字典格式解析  一文中简单介绍了一下 ICTCLAS 。本来是要把字典格式一并写上去,无奈不知道怎么描述这个格式,现在终于写出了第一个Java版本的代码,也理清了思路。这个文件格式可以这样来描述:

    先用文字描述一下:
    ictclas的字典文件由结构相同的Segment组成(比如:英文字典可以按照词语的首字母分为26个Segment)
    在一个Segment中由结构相同的Section组成。Section是描述词语的最小单位。

    Section中对词语的描述信息包括:词语的长度、词语本身、词语使用的频率、词语的句柄
    下图描述了一个Segment
的结构:
                    http://blog.csdn.net/images/blog_csdn_net/accesine960/82195/o_ictclas_dictionary_structure.jpg

    下图是ictclasC语言的描述格式:

http://blog.csdn.net/images/blog_csdn_net/accesine960/82195/o_ictclas_c_structure.jpg

    从程序的角度说明一下:

    一个SegmentSection的个数由这个Segment前4个字节决定(四个字节组成一个int型整数)。
    一个Section中长度等于 前12 个字节 加上词语的长度。在前面的12个字节中前4个字节是词语频率,中间4个字节是词语的长度,后面四个字节是词语的句柄。

    希望感兴趣的朋友们一起来学习一下这个项目,这对以后的中文处理是个不错的开端。
    相关下载:
计算所汉语词法分析系统ICTCLAS 字典格式解析 

0 0

相关博文

我的热门文章

img
取 消
img