计算机中同义词的识别.ppt

同义词的识别 计算机识别同义词主要有两种方法： 以单汉字为单位的字面相似度测定。 以词素为单位的字面相似度测定。 字面相似度算法主要根据字面相似性原理，即汉语中绝大多数同义词 准意词都含有相同语素这一特点计算出词与词之间的相似程度。 以单汉字为单位的字面相似度算法 在计算中考虑匹配字数和词汇结构两个方面的因素，并加入汉语构成 的重心后移的特点。所谓的重心后移就是指表达某一具体的专指概念时， 其主题中心词往往在词的后半部分。 同义词的识别 具体算法如下： 对待匹配词甲与匹配词乙进行字面相似性分析,统计两个词中共同含有 的相同语素的个数,同时对词甲和词乙中各个语素加权。根据相同语素在两 词中的位置及次序,统计相同语素在各个词中所占的权值,拟定算法计算两 词的相似度,确定其同义、准同义关系。设定两个词之间的相似度受两方面 的影响:两个词含有相同语素的个数的影响占60 %;相同语素在各个词中的 位置关系的影响占40 %。由此拟定相似度匹配公式： 同义词的识别 式中xsword表示两个词中含有相同语素的个数， 表示匹配字在待匹配词中所处的位权之和。 表示匹配字在被匹配词中所处的位权之和。 dp 表示位置系数,其值为被匹配词与待匹配词语素总数之比,如 果被匹配词语素总数大于待匹配词语素总数, dp = keyword/ ctrlword ,反之则为dp =ctrlword/ keyword。 该相似度计算公式是通过计算匹配字串与被匹配词和待匹 配词的比例的算术平均数,以及匹配字串在被匹配词和待匹配词 的位置次序关系的权数之和的算术平均数,然后分别乘以两个影 响的加权数,最终得出两词的相似度。例如,“经济信息管理”与 “商业信息管理”的相似度： 同义词的识别 xsword = 4 ; ctrlword = 6 ; keyword = 6 ; 同义词的识别 这种算法还存在许多缺陷： 1. 在词这个层面上汉字歧义现象比较多。 2. 阈值的选取比较困难。 用这种方法计算出来的相似度值是一个可穷举的序列，这必然 导致在处理大数据样本集时候产生相似度聚集的现象。在这种聚集 区域改变阈值将导致遗漏率的较大变化。 3.不能识别非字面相似的现象。 4.难以应用于法规则进一步提高识别率。 5.算法存在理论上的支持，存在逻辑错误。 相似度的表达和基本公式存在逻辑缺陷。 dp的作用缺乏科学性。 同义词的识别 基于语义的词素相似度识别算法 字面相似度算法只适用于识别由纯汉字构成的词汇,不适用于识别纯粹 由非汉字组成的词汇。因此开始有人致力于研究以词素为单位识别同义词 的 方法。 词素相似度识别算法的主要思想是： 首先，建立常用词素的语义词典，对识别词进行切分,在此基础上以词 素为单位，以相似性原理为依据,将词素的字面形式转换为语义代码进行相 似度判别，在考虑词组的结构关系的前提下进行同义词的识别。其中引入 了表达度这一概念，表示词的部分对整体的涵义所起的作用大小，据此进 行加权。 表达度是表示词的部分对整体的涵义所起的贡献的大小，整个词的表 达度为100%，空串对整体的表达度为0%，词的部分对整体的表达度等于 其词素表达度之和。 同义词的识别 公式成立的条件是以下信息已知： 待匹配词ctrlword 的信息量总和为A ； 匹配词keyword 的信息量总和为B ； 两词中表示相同语义的信息量为C1 ，C2 ； 共同部分C1 对A 的表达度为x ，C2 对B 的表达度为y。 根据这些条件可得： 相似度为： 同义词的识别 具体做法是建立以词素为单位的语义词典,将词素按语义上的 分类体系进行相似比较,再将组成语词的各个词素相似度按一定的权 重计算出表达度,再通过两词的表达度计算出相似度。 两种方法的比较 以单汉字为单位的字面相似度算法具有直观、简单、易行的特点。 以语素为单位的字面相似度算法对处理一字多义的情况效果