1. 首页
  2. 编程语言
  3. 其他
  4. 论文研究基于MapReduce模型的分布式天文交叉证认.pdf

论文研究基于MapReduce模型的分布式天文交叉证认.pdf

上传者: 2019-09-27 18:14:10上传 其他文档文件 576KB 热度 42次
交叉证认是实现多波段数据融合的关键技术,目前还缺乏对其分布式算法的研究。快速增长的数据规模使该问题必须要依赖分布式并行计算技术解决。提出了一种基于MapReduce分布式模型的新方法,根据Map-Reduce的要点,尽量减少了任务间的通信量,并通过合理设置划分粒度保证了效率与存储间的平衡。实验结果表明,该方法对海量数据交叉证认的效率提升明显,在大规模集群上达到了接近线性的加速比。该方法为交叉证认提供了一种快速有效的解决途径。
下载地址
用户评论