论文研究 基于Spark YARN的空气污染预报云平台设计.pdf

近年来我国空气污染导致的雾霾天气频繁发生，空气污染已经成为一个亟待解决的重要问题，其数值预报推广应用是一个难题，主要表现在数值预报系统的运行过程中计算量大，数据量大，在传统高性能计算集群中进行空气污染预报存在资源有限、复杂的并行化操作、批处理作业等待耗时等问题，尤其对于资源缺乏的研究团队，还存在基础设施昂贵而无法负担的问题。因此，如何利用有限的资源，为大气科学家提供一种基于云计算模式的高性能计算环境，提供可扩展、快速、廉价和动态可分配的计算和存储资源，是亟待解决的关键问题。研究一种基于Spark YARN的空气污染数值预报的云平台，针对空气污染数值预报特点，为大气科学家提供一种空气污染数值预报