分布式论文

目前基于 Hadoop 的日志分析已难以满足当前日志实时分析和监控的需求。本文针对这种需求研发了一种基于实 时流计算引擎的分布式服务监控中心解决方案，实现了对集群的监控和管理。以实时流计算引擎 spark 为分析平台，采用 Spark 中用于构建数据仓库的数据查询工具 Spark Sql 对原生 RDD 对象进行关系查询，并实现对海量日志数据进行分析处 理，用以解决网络负载和服务器压力。该方案提供一种高吞吐量的基于内存计算的集群计算监控方法，能够应用于大规模 分布式系统的 bug 检查和风险控制。测试表明：该分布式服务平台还可通过热部署动态增加集群节点数量来保证系统的弹 性，做到既可以提高系统