PySpark Sentiment Analysis

PySpark-情绪分析里德·安德森，阿纳斯·萨拉玛关于我们项目的目标是在分布式计算环境中应用自然语言处理技术。我们打算使用Apache Spark的MLlip对电影评论情绪进行分类，特别关注朴素贝叶斯，并将在我们参加相关的Kaggle竞赛（链接）时对我们的进展进行基准测试。比赛要求将句子标记为：否定、有点否定、中立、有点肯定或肯定。该项目所需的训练和测试数据已经由Kaggle提供，我们主要需要的资源将是AWS来训练分类器。一个延伸目标是构建一个简单的Web应用程序、REST API和Web服务器，类似于OpenALPR，用户可以在其中输入一个句子并接收情感分析作为五个标签之一。最后，我们将在一篇论文中展示我们的分类器的结果，以及我们在Kaggle排行榜上的位置（尽管比赛的最终结果要到2015年2月28日才能知道）。我们