大厂学苑-数据人工智能实时数仓层业务实现.pdfVIP

1.3搜索功能实现

1.3.1IK分词器

1)在pom.xml中加入依赖

dependency

groupIdcom.janeluo/groupId

artifactIdikanalyzer/artifactId

version2012_u6/version

/dependency

2)封装分词工具类

importorg.wltea.analyzer.core.IKSegmenter;

importorg.wltea.analyzer.core.Lexeme;

importjava.io.IOException;

importjava.io.StringReader;

importjava.util.ArrayList;

importjava.util.List;

publicclassKeywordUtil{

//使用IK分词器对字符串进行分词

publicstaticListStringanalyze(Stringtext){

StringReadersr=newStringReader(text);

IKSegmenterik=newIKSegmenter(sr,true);

Lexemelex=null;

ListStringkeywordList=newArrayList();

while(true){

try{

if((lex=ik.next())!=null){

StringlexemeText=lex.getLexemeText();

keywordList.add(lexemeText);

}else{

break;

}

}catch(IOExceptione){

e.printStackTrace();

}

}

returnkeywordList;

}

publicstaticvoidmain(String[]args){

System.out.println(KeywordUtil.analyze(text));

}

}

1.3.2自定义函数

有了分词器，那么另外一个要考虑的问题就是如何把分词器的使用揉进FlinkSQL中。

因为SQL的语法和相关的函数都是Flink内定的，想要使用外部工具，就必须结合自定义函

数。

ScalarFunction(相当于Spark的UDF),

TableFunction(相当于Spark的UDTF),

AggregationFunctions(相当于Spark的UDAF)

考虑到一个词条包括多个所以分词是指上是一种一对多的拆分，一拆多的情况，我们应

该选择TableFunction。

封装函数

@FunctionHint主要是为了标识输出数据的类型

row.setField(0,keyword)中的0表示返回值下标为0的值

importorg.apache.flink.table.annotation.DataTypeHint;

importorg.apache.flink.table.annotation.FunctionHint;

importorg.apache.flink.table.functions.TableFunction;

importutil.KeywordUtil;

importjava.util.List;

@FunctionHint(output=@DataT