Apache Kylin权威指南.pd

Apache Kylin ，一个处理百亿级查询，能够在亚秒级返回结果的技术，大型公司都需要，是一个很好的技术，值得学习。目录推荐序推荐序二推荐序三推荐序四前言第1章 Apache Kylin概述1.1背景和历史1.2 Apache Kylin的使命1.2.1为什么要使用 Apache Kylin1.2.2 Apache Kylin怎样解决关键问题13 Apache Kylin的工作原理1.3.1维度和度量简介1.3.2Cube和 Cuboid1.3.3工作原理14 Apache Kylin的技术架构1.5 Apache Kylin的主要特点1.5.1标准SL接口1.5,2支持超大数据集1.5.3亚秒级响应54可伸缩性和高吞吐率1.5.5BI及可视化工具集成1.6与其他开源产品比较1.7小结第2章快速入门2.1核心概念2.1.1数据仓库、OLAP与BI2.1.2维度和度量2.1.3事实表和维度表2.1.4Cube、 Cuboid和 Cube Segment2.2在Hive中准备数据2.2.1星形模型22.2维度表的设计223Hive表分区2.2.4了解维度的基数2.2.5 Sample Data23设计Cube23.1导入Hive表定义2.3.2创建数据模型2.3.3创建Cube24构建Cube24.1全量构建和增量构建24.2历史数据刷新24.3合并2.5查询Cube2.6SQL参考2.7小结第3章增量构建3.1为什么要增量构建3.2设计增量Cube3.2.1设计增量Cube的前提3.2.2增量Cube的创建3.3蝕发增量构建33.1 Web GU触发3.3.2构建相关的 Rest Api34管理Cube碎片34.1合并 Segment3.4.2自动合并343保留 Segment344数据持续更新3.5小结第4章流式构建4.1为什么要流式构建4.2准备流式数据4.2.1数据格式4.2.2消息队列4.2.3创建 Schema4.3设计流式Cube4.3.1创建 Model4.3.2创建Cube4.4流式构建原理4.5触发流式构建4.5.1单次触发4.5.2自动化多次触发4.5.3出错处理4.6小结第5章查询和可视化5.1 Web GUI5.1.1查询5.1.2显示结果5.2 Rest API52.1查询认证52.2查询请求参数52.3查询返回结果5.3 ODBC5.4JDBC54.1获得驱动包54.2认证54.3URL格式544获取元数据信息5.5通过 Tableau访问 Kylin5.5.1连接Kyin数据源5.5.2设计数据模型5.5.3通过Live方式连接554自定义SQL555可视化55.6发布到 Tableau server5.6 Zeppelin集成56.1 Zeppelin架构简介56.2 KylinInterpreter的工作原理563如何使用 Zeppelin访问 Kylin5.7小结第6章Cube优化6.1 Cuboid剪枝优化6.1.1维度的诅咒6.1.2检查 Cuboid数量6.1.3检查Cube大小6.1.4空间与时间的平衡62剪枝优化的工具62.1使用衍生维度6.2.2使用聚合组6.3并发粒度优化64 Row keys优化64.1编码64.2按维度分片64.3调整 Rowkeys顺序65其他优化65.1降低度量精度6.52及时清理无用的 Segment6.6小结第7章应用案例分析7.1基本多维分析7.1.1数据集7.1.2数据导入7.1.3创建数据模型7.1.4创建Cube7.1.5构建Cube7.1.6SOL查询7.2流式分析7.2.1 Kafka数据源7.2.2创建数据表7.2.3创建数据模型7.2.4创建Cube7.2.5构建Cube7.2.6SQL查询7.3小结第8章扩展 Apache Kylin8.1可扩展式架构8.1.1工作原理8.1.2三大主要接口8.2计算引擎扩展8.2.1 EngineFactor8.2.2 MRBatch Cubing Engine28.2.3 Batch CubingJobBuilder28.2.4 IMRInput8.2.5 IMROutput283数据源扩展84存储扩展8.5聚合类型扩展85.1聚合的JSON定义8.52聚合类型工厂853聚合类型的实现8.6维度编码扩展8.6.1维度编码的JSON定义8.62维度编码工厂8.63维度编码的实现8.7小结第9章 Apache Kylin的企业级功能9.1身份验证91.1自定义验证9.1.2LDAP验证9.1.3单点登录92授权93小结第10章运维管理10.1安装和配置10.1.1必备条件