最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java實(shí)現(xiàn)的最大匹配分詞算法詳解

 更新時(shí)間:2017年09月19日 10:08:53   作者:送人玫瑰手留余香  
這篇文章主要介紹了Java實(shí)現(xiàn)的最大匹配分詞算法,簡(jiǎn)單說(shuō)明了最大匹配分詞算法的原理并結(jié)合具體實(shí)例形式最大匹配分詞算法的實(shí)現(xiàn)方法與相關(guān)注意事項(xiàng),需要的朋友可以參考下

本文實(shí)例講述了Java實(shí)現(xiàn)的最大匹配分詞算法。分享給大家供大家參考,具體如下:

全文檢索有兩個(gè)重要的過(guò)程:

1分詞

2倒排索引

我們先看分詞算法

目前對(duì)中文分詞有兩個(gè)方向,其中一個(gè)是利用概率的思想對(duì)文章分詞。 也就是如果兩個(gè)字,一起出現(xiàn)的頻率很高的話,我們可以假設(shè)這兩個(gè)字是一個(gè)詞。這里可以用一個(gè)公式衡量:M(A,B)=P(AB)/P(A)P(B),其中 A表示一個(gè)字,B表示一個(gè)字,P(AB)表示AB相鄰出現(xiàn)的概率,P(A)表示A在這篇文章中的頻度,P(B)表示B在這篇文章中的頻度。用概率分詞的好 處是不需要借助詞典的幫助,壞處是算法比較麻煩,效率不高,也存在一定的出錯(cuò)率。

另外的一個(gè)方向是使用詞典分詞。就是事先為程序準(zhǔn)備一個(gè)詞典,然后通過(guò)這個(gè)詞典對(duì)文章分詞。目前較流行的方式有正向最大匹配算法和逆向最大匹配算法。逆向最大匹配算法在準(zhǔn)確性上要更好一些。

以 “我是一個(gè)壞人” 為例,并最大詞長(zhǎng)為3,詞庫(kù)包含有 我、是、一、個(gè)、一個(gè)、壞人、大壞人

正向的順序?yàn)?/strong>

我是一
我是
我 ===> 得到一個(gè)詞
是一個(gè)
是一
是 ===>得到一個(gè)詞
一個(gè)壞
一個(gè)===> 得到一個(gè)詞
壞人===>得到一個(gè)詞

結(jié)果 我、是、一個(gè)、壞人

反向算法

個(gè)壞人
壞人==> 壞人
是一個(gè)
一個(gè)==> 一個(gè)
我是
是==> 是
我==> 我

結(jié)果 我、是、一個(gè)、壞人

java代碼如下

package data;
import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;
/**
 * 最大匹配分詞算法
 *
 * @author JYC506
 *
 */
public class SplitString {
 private Set<String> set = new HashSet<String>();
 private int positiveOver = 0;
 private int reverseOver = 0;
 /**
  * 正向最大匹配
  *
  * @param str 要分詞的句子
  * @param num 詞的最大長(zhǎng)度
  * @return
  */
 public String[] positiveSplit(String str, int maxSize) {
  int tem = 0;
  int length = str.length();
  String[] ss = new String[length];
  char[] cc = str.toCharArray();
  for (int i = 0; i < length; i++) {
   positiveOver = 0;
   String sb = this.toStr(cc, i, maxSize);
   ss[tem++] = sb;
   i = i + positiveOver;
  }
  String[] ss2 = new String[tem];
  System.arraycopy(ss, 0, ss2, 0, tem);
  return ss2;
 }
 /**
  * 添加詞庫(kù)
  *
  * @param words
  */
 public void addWord(String[] words) {
  for (String st : words) {
   this.set.add(st);
  }
 }
 /**
  * 逆向最大匹配
  *
  * @param str
  * @param num
  * @return
  */
 public String[] reverseSplit(String str, int num) {
  int tem = 0;
  int length = str.length();
  String[] ss = new String[length];
  char[] cc = str.toCharArray();
  for (int i = str.length() - 1; i > -1; i--) {
   reverseOver = 0;
   String sb = this.toStr2(cc, i, num);
   tem++;
   ss[--length] = sb;
   i = i - reverseOver;
  }
  String[] ss2 = new String[tem];
  System.arraycopy(ss, str.length() - tem, ss2, 0, tem);
  return ss2;
 }
 private String toStr(char[] cs, int start, int num) {
  int num2 = num;
  out: for (int j = 0; j < num; j++) {
   StringBuffer sb = new StringBuffer();
   for (int i = 0; i < num2; i++) {
    if (start + i < cs.length) {
     sb.append(cs[start + i]);
    } else {
     num2--;
     j--;
     continue out;
    }
   }
   if (set.contains(sb.toString())) {
    positiveOver = num2 - 1;
    return sb.toString();
   }
   num2--;
  }
  return String.valueOf(cs[start]);
 }
 private String toStr2(char[] cs, int start, int num) {
  int num2 = num;
  for (int j = 0; j < num; j++) {
   StringBuffer sb = new StringBuffer();
   for (int i = 0; i < num2; i++) {
    int index = start - num2 + i + 1;
    if (index > -1) {
     sb.append(cs[index]);
    } else {
     num2--;
    }
   }
   if (set.contains(sb.toString())) {
    reverseOver = num2 - 1;
    return sb.toString();
   }
   num2--;
  }
  return String.valueOf(cs[start]);
 }
 public static void main(String[] args) {
  String[] words = new String[] { "我們", "我們五人", "五人一組", "一組" };
  SplitString ss = new SplitString();
  /*添加詞到詞庫(kù)*/
  ss.addWord(words);
  String st = "我們五人一組";
  System.out.println("腳本之家測(cè)試結(jié)果:");
  System.out.println("要分詞的句子:" + st);
  /*使用兩種方式分詞,下面我指定最大詞長(zhǎng)度為4*/
  String[] ss2 = ss.reverseSplit(st, 4);
  String[] ss1 = ss.positiveSplit(st, 4);
  System.out.println("正向最大匹配分詞算法分詞結(jié)果:" + Arrays.toString(ss1));
  System.out.println("逆向最大匹配分詞算法分詞結(jié)果:" + Arrays.toString(ss2));
 }
}

更多關(guān)于java算法相關(guān)內(nèi)容感興趣的讀者可查看本站專題:《Java數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Java字符與字符串操作技巧總結(jié)》、《Java操作DOM節(jié)點(diǎn)技巧總結(jié)》、《Java文件與目錄操作技巧匯總》和《Java緩存操作技巧匯總

希望本文所述對(duì)大家java程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • Spring @Transactional工作原理詳解

    Spring @Transactional工作原理詳解

    這篇文章主要介紹了Spring @Transactional工作原理詳解,具有一定借鑒價(jià)值,需要的朋友可以參考下。
    2017-12-12
  • dubbo如何實(shí)現(xiàn)consumer從多個(gè)group中調(diào)用指定group的provider

    dubbo如何實(shí)現(xiàn)consumer從多個(gè)group中調(diào)用指定group的provider

    這篇文章主要介紹了dubbo如何實(shí)現(xiàn)consumer從多個(gè)group中調(diào)用指定group的provider問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-03-03
  • Java創(chuàng)建文件且寫入內(nèi)容的方法

    Java創(chuàng)建文件且寫入內(nèi)容的方法

    這篇文章主要介紹了Java創(chuàng)建文件且寫入內(nèi)容的方法的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下
    2016-07-07
  • RestTemplate自定義請(qǐng)求失敗異常處理示例解析

    RestTemplate自定義請(qǐng)求失敗異常處理示例解析

    這篇文章主要為大家介紹了RestTemplate自定義請(qǐng)求失敗異常處理的示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步早日升職加薪
    2022-03-03
  • java int轉(zhuǎn)byte和long轉(zhuǎn)byte的方法

    java int轉(zhuǎn)byte和long轉(zhuǎn)byte的方法

    下面小編就為大家?guī)?lái)一篇java int轉(zhuǎn)byte和long轉(zhuǎn)byte的方法。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2016-10-10
  • MyBatis 如何獲取子類的屬性

    MyBatis 如何獲取子類的屬性

    這篇文章主要介紹了MyBatis 如何獲取子類的屬性,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2021-08-08
  • springboot中關(guān)于classpath:路徑使用及說(shuō)明

    springboot中關(guān)于classpath:路徑使用及說(shuō)明

    這篇文章主要介紹了springboot中關(guān)于classpath:路徑使用及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-09-09
  • 使用Spring?Cloud?Stream處理Java消息流的操作流程

    使用Spring?Cloud?Stream處理Java消息流的操作流程

    Spring?Cloud?Stream是一個(gè)用于構(gòu)建消息驅(qū)動(dòng)微服務(wù)的框架,能夠與各種消息中間件集成,如RabbitMQ、Kafka等,今天我們來(lái)探討如何使用Spring?Cloud?Stream來(lái)處理Java消息流,需要的朋友可以參考下
    2024-08-08
  • btrace定位生產(chǎn)故障的方法示例

    btrace定位生產(chǎn)故障的方法示例

    這篇文章主要介紹了btrace定位生產(chǎn)故障的方法示例,文中通過(guò)示例代碼介紹的很詳細(xì),相信對(duì)大家具有一定的參考價(jià)值,需要的朋友們下面來(lái)一起看看吧。
    2017-02-02
  • 深度剖析Java中的內(nèi)存原型及工作原理

    深度剖析Java中的內(nèi)存原型及工作原理

    這篇文章主要介紹了深度剖析Java中的內(nèi)存原型及工作原理,本文講解了java虛擬機(jī)內(nèi)存原型、常量池、Java內(nèi)存分配中的棧、Java內(nèi)存分配中的堆等內(nèi)容,需要的朋友可以參考下
    2015-01-01

最新評(píng)論

遵化市| 南澳县| 莱州市| 新乐市| 新干县| 太白县| 盐池县| 海晏县| 湘西| 天津市| 邢台县| 皮山县| 玉田县| 安平县| 辛集市| 瑞丽市| 台南县| 天气| 玉溪市| 工布江达县| 崇礼县| 双流县| 砀山县| 柳河县| 洛南县| 前郭尔| 宜州市| 长岛县| 大兴区| 望谟县| 昭平县| 朔州市| 云浮市| 宁城县| 江津市| 历史| 无棣县| 出国| 沂源县| 津南区| 通山县|