大数据分析三级报告.docx

本文通过基本原理和方法、相关技术、方案设计、运行结果展示、项目评估及分析、源代码几方面展示了基于Spark平台进行新闻分类的方法。文章中采用ansj、Spark MLlib CountVectorizer、Spark MLlib word2vec、Spark randomSplit、等方法实现新闻的分类处理,对如何理解和使用这些算法、工具来实现大数据的处理具有很好的帮助。