展会信息港展会大全

浅谈百度中文分词是如何进行的
来源:互联网   发布日期:2011-09-19 11:11:40   浏览:19209次  

导读:浅谈百度中文分词是如何进行的...

  相信大家对于搜索引擎收录的分词技术一直都很好奇,掌握了解了搜索引擎分词技术对于我们这些站长的工作有很大的帮助:在网站的链接架构及关键词的布局都与分词有很大的关系。平时跟百度接触的比较多,所以就以百度中文分词为例介绍下搜索引擎分词的方法。

 中文分词是什么

  在了解百度的中文分词之前大家首先要了解什么是中文分词?我们中文与英文不同,是由一个个汉字连接成的,因此分起来相对比较复杂。百度的中文分词是将一个汉语句子切分成一个个的单独的词,然后按照一定的规则重新组合成一个序列的过程,简称“中文切词”。分词对搜索引擎的帮助很大,可以帮助搜索引擎程序自动识别语句的含义,从而使搜索结果的匹配度达到最高,因此分词的质量也就直接影响了搜索结果的精确度。当前百度搜索引擎分词主要采用字典匹配和统计学这两种方法。

 字典匹配分词

  这种方法的就出事有一个词库量超大的词典,即分词索引库,在按照一定的规则将待分的词的字符串与词库中的词进行匹配,找到某个词语就表示匹配成功,这主要通过以下几种方式:最少切分(使每一句中切出的词数最小);正向最大匹配法(由左到右的方向);双向最大匹配法(进行由左到右、由右到左两次扫描);逆向最大匹配法(由右到左的方向)。

  一般情况下,搜索引擎会使用多种方式结合使用,这就为搜索引擎带来很大的困难,如歧义的处理,为了提高关键词匹配的精确率,搜索引擎会模拟人类对句子的理解,从而达到识别词语的效果。也就是在粉刺的同时进行句法、语义分析,利用句法信息和语义信息来处理歧义现象。这主要包括以下几个部分:总控部分、分词子系统、句法语义子系统。在总控部分的协调下,分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断,即它模拟了人对句子的理解过程。

 统计学分词

  虽然字典索引库解决了很多难题,但是着写还是远远不够的,搜索引擎还需要具有不断发现新词的能力,在通过计算词语相邻的概率在确定是不是一个单独的词语,因此了解的上下文越多,对句子的理解也就越准确,当然分词也就越精确。举个例子来讲就是“搜索引擎优化的过程是什么”在上下文中出现的次数较多,那么统计学分词就会将这个词假如分词索引库。

赞助本站

人工智能实验室

相关热词: 浅谈 百度 中文分 如何 进行

AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港