基于Spark的大数据人员信息智能管理系统.pdf

公安和情报部门作为维稳和维护社会治安的重要部门，多年积累建设了多个不 同类型数据库，存储了海量数据信息，但是由于大部分为传统关系型数据库，性能 被约束，无法发挥这些数据的价值。其缺点主要体现在:情报信息来源的分散化和 滞后性、维稳信息归档能力薄弱、数据查询和呈现的自动化/可视化程度不高、专属 业务模型应用数量少且数据的关联性没有得到利用等方面。如何挖掘这些海量数据 的关联关系，筛查重点人员并分析其人员关系网络，成为了公安机关急需解决的问 题。本文针对这方面的需求，设计了一个大数据人员信息管理系统，采用 HDFS 分 布式文件存储系统搭配 mysql 关系型数据库存储数据，应用 spark 分布