敏感词过滤算法(c++实现)

该算法基于DFA并结合许多算法并进行相应的简化，最终其算法基本原理为：将所有敏感词库按模块聚合构建成一个词树（所谓聚合，就是将相同字开头的部分进行聚合，以减少对词的查询范围，相当于建立敏感词索引，如：他奶奶的、他妈的、他娘的，这三个词，聚合构建成词树时，“他”字就是这三个词的索引，同时每个词的结尾都有一个结束标志和该词的一些描述，如敏感级别等），然后从头到尾扫描一遍目标文本，当遇到以敏感词树中的索引的字时，查看后面的文本是否构成敏感词（如果这里有以这个敏感词开头的更长的敏感词时，以更长的为匹配结果，并判断该词在文本中前后是否有分隔符来区别其匹配方式），如果是则记录，一遍扫描完之后所有敏感词即被扫描出来了！