基于文本内容的敏感词决策树信息过滤算法.pdf

随着互联网的高速发展,各种各样的信息资源呈指数级增长,随之出现许多负面影响,需要构建一个安全 健康的网络环境。 为此,提出针对网页文本内容的敏感信息过滤算法(SWDT-IFA)。 该算法不依赖词典与分词, 通过构建敏感词决策树,将网页文本内容以数据流形式检索决策树,记录敏感词词频、区域信息以及敏感词级别, 计算文本整体敏感度,过滤敏感文本。 实验结果表明,SWDT-IFA 算法具有较高的查准率和查全率,且执行时间能 够满足当前网络环境的实时性要求。