TweetAnalysis系统架构概述
我们的程序如何运作涉及到三个主要实体:Manager、Worker和Local Application。我们将ami-b66ed3de的t2.small用于worker实例,t2.micro用于manager实例。我们使用了五个SQS队列:
-
任务——队列中的每一项代表一个由本地应用程序添加的新任务,将由Manager处理。
-
已完成的任务——包括所有已完成的任务,这些任务的结果已准备好供Local Application接收。
-
raw_tweets——来自任何本地应用程序的每条推文消息被分成两个小任务:实体分析和情感分析。
-
processed_tweets——每个输入推文包含两个输出推文,一个用于情感分析,另一个用于实体分析。
-
log——Manager、Worker和Local Application正在更新这个队列。
下载地址
用户评论