NLucene研究系列(5)－Analysis

Analysis 

Analysis模块主要提供了文本解析的功能，输入为TextReader的字符流，最终解析成TokenStream形式的结果返回给调用端。由前文的NLucene架构图可以看出，Analysis主要为Index和QueryParser模块提供解析服务，分别是在Indexing原始文件和解析搜索语句中的Term的过程中。

要了解这个包，首先需要明确几个概念：

Ø

Token:

Ø

TokenType:

Ø

TokenStream: TokenStream

是

Token

迭代器

;

Ø

Analyzer:

一个

Analyzer

是一个

TokenStream

工厂

;

Ø

Tokenizer:

Ø

TokenFilter:

类图如下所示：

Analyzer类族，作为Analyzer模块对外提供的接口，定义了基类Analyzer, 子类SimpleAnalyzer(简单分析器，只分词)，StopAnalyzer(定义了StopTable,过滤Noise Word)以及标准分析器StandardAnalyzer。

然后定义了基类TokenStream，Next()为核心方法。此处应用了Decorate模式。