论文研究 基于HBase的气象结构化数据查询优化.pdf

海量气象观、探测数据是提高公共气象服务精细化、精准化和个性化水平的关键。日增TB级的海量气象数据在存储、检索、传输、共享方面的时效性要求对构建在传统的IOE技术架构上气象数据管理系统提出了严峻挑战。在HBase基础上，提出了一个基于索引的气象结构化数据查询优化架构HBase4M（HBase for Meteorology）。首先，根据HBase存储特性设计表结构；然后，利用协处理器建立和维护辅助索引，将字段查询转化为对索引表的行键查询，使得HBase4M在具备HBase可扩展性、低延迟的特性上可以支持结构化气象数据的灵活查询。实验结果表明，HBase4M的性能可以基本满足气象服务的业务需要。