快捷導(dǎo)航

IKAnalyzer使用不同版本中文分詞的切詞方式實(shí)現(xiàn)相同功能效果

更新時(shí)間：2018年12月07日 15:07:17 作者：執(zhí)筆記憶的空白

今天小編就為大家分享一篇關(guān)于IKAnalyzer使用不同版本中文分詞的切詞方式實(shí)現(xiàn)相同功能效果，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧

最近公司在做一個(gè)題庫(kù)的功能，需要用到中文分詞和公式分詞的工具，最開始用 IKAnalyzer 2012F 版本 + lunece 6.5.1做了一版中文分詞工具。

具體如下：

一、IKAnalyzer 2012F + lunece 6.5.1 實(shí)現(xiàn)中文分詞

 public static List<String> analysisByIK(Analyzer analyzer,String field, String content){
 if(StringUtils.isNullOrEmpty(content)){
  return null;
 }
 TokenStream ts = null;
 try {
  ts = analyzer.tokenStream(field, new StringReader(content));
  CharTermAttribute term = ts.addAttribute(CharTermAttribute.class);
  ts.reset(); 
  List<String> vocabularies = new ArrayList<>();
  while (ts.incrementToken()) {
  vocabularies.add(term.toString());
  }
  ts.end();
  return vocabularies;
 } catch (Exception e) {
  logger.error(e.getMessage(), e);
 } finally {
  if (ts != null) {
  try {
   ts.close();
  } catch (IOException e) {
   e.printStackTrace();
  }
  }
 }
 return null;
 }

調(diào)用方式：

 String str = "已知三角形ABC中，角A等于角B加角C，那么三角形ABC是 A、銳角三角形 B、直角三角形 C、鈍角三角形 D、不能確定";
 Analyzer analyzer = new IKAnalyzer(true);
 ikList = analysisByIK(analyzer, "myfield", str);
 listAnalyzer.addAll(ikList);

輸出結(jié)果listAnalyzerd：

[已知, 三角形, abc, 中, 角, a, 等于, 角, b, 加, 角, c, 那么, 三角形, abc, 是, a, 銳角三角形, b, 直角三角形, c, 鈍角三角形, d, 不能, 確定]

但是由于公式切詞是原來(lái)公司大牛寫的，在滿足公式切詞的條件下，中文切詞的IKAnalyzer 2012F與其不兼容。于是嘗試其他版本，最終決定用 IKAnalyzer 3.2.8 實(shí)現(xiàn)了兼容。

二、IKAnalyzer 3.2.8 + lunece 3.1.0 兼容版本

 public static List<String> analysisByIK3Point2(Analyzer analyzer,String field, String content) throws Exception{
 if(StringUtils.isNullOrEmpty(content)){
  return null;
 }
 List<String> list = new ArrayList<>();
 Reader reader = new StringReader(content);
    TokenStream stream = (TokenStream)analyzer.tokenStream(field, reader);
    //添加工具類 注意：以下這些與之前l(fā)ucene2.x版本不同的地方
    TermAttribute termAtt = (TermAttribute)stream.addAttribute(TermAttribute.class);
    OffsetAttribute offAtt = (OffsetAttribute)stream.addAttribute(OffsetAttribute.class);
    // 循環(huán)打印出分詞的結(jié)果，及分詞出現(xiàn)的位置
    while(stream.incrementToken()){
     list.add(termAtt.term());
//       System.out.println(termAtt.term());
    }
 return list;
 }

調(diào)用方式：

 String str = "已知三角形ABC中，角A等于角B加角C，那么三角形ABC是 A、銳角三角形 B、直角三角形 C、鈍角三角形 D、不能確定";
 Analyzer analyzer = new IKAnalyzer(true);
 ikList = analysisByIK3Point2(analyzer, "myfield", str);
 listAnalyzer.addAll(ikList);

輸出結(jié)果：