1. 首页
  2. 数据库
  3. 其它
  4. 基于Kafka与Spark的实时大数据质量监控平台

基于Kafka与Spark的实时大数据质量监控平台

上传者: 2021-01-30 23:36:52上传 PDF文件 364.58KB 热度 13次
微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据,如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5 PB以上数据,如何构建一个高扩展性的dataaudit服务来保证这样量级的数据
下载地址
用户评论