spark实战视频_百度盘

【部分视频加密，仅作参考】 java和scala对比 为什么学习scala Scala编译器安装 第一个scala程序编写 Scala工具安装 使用IDEA编程 idea打jar包 变量的声明 Scala数据类型 if表达式 代码块 循环-while 循环-for Scala操作符 方法的定义 定义函数 装饰设计 Java去解释函数式编程 定长数组和边长数组 数组的转换和遍历 数组常用的算法 Map集合 元组操作 List集合操作 Scala实现单词计数 Set集合操作 lazy特性 Scala课程说明 类的定义 查看定的class文件 主构造函数和辅助构造函数 早上知识回顾 对象 apply方法 Trait（特质） 扩展应用程序 继承 抽象类 模式匹配 Scala字符串打印 样例类 Option(Some,None) 偏函数 闭包 curring 隐士参数 隐士转换 隐士转换时机2案例演示 隐士转换案例 上下界 上界 下界案例 视图边界 协变 逆变 Socket作业 作业需求分析 作业代码实现 关于Actor知识说明 Actor基本概念解释 Actor案例演示 案例二需求分析 案例代码演示 应该如何学习开源技术 什么是Spark Spark的四大特性 spark快速使用 什么是RDD 演示什么是RDD Spark任务的运行流程 hadoop集群搭建 Spark集群搭建 SparkHA集群搭建 Scala开发Spark程序演示 java7开发spark程序 Java8开发spark程序 IDEA如何打Maven包 提交任务到Spark集群 RDD的创建方式 关于Spark脚本的说明 Transformation和action原理 广播变量 累加变量 共享变量使用演示 持久化 checkpoint 关于持久化补充说明 standalone运行模式 Spark-on-yarn Spark-on-yarn原理说明 HistoryServer服务配置 map-flatMap-filter sortBykey-reduceBykey join-union-cogroup intersection-distinct-cartesian mapPartitions-repartition-coalesce coalesce和repartition区别补充 aggregateByKey-mapPartitionsWithIndex 关于Action算子的说明 关于collect算子的说明 Spark二次排序 窄依赖和宽依赖 窄依赖和宽依赖例子分析 名词解释 stage划分算法 Spark任务的调度 避免创建重复的RDD 尽可能复用同一个RDD 对多次使用的RDD进行持久化 尽量避免使用shuffle类算子 使用map-side预聚合的shuffle操作 使用高性能的算子 广播大变量 使用Kryo优化序列化性能 优化数据结构 数据本地化 数据倾斜的原理和如何定位数据倾斜 使用Hive ETL预处理数据 过滤少数导致倾斜的key 提高shuffle操作的并行度 两阶段聚合（局部聚合+全局聚合） 将reduce join转为map join 采样倾斜key并分拆join操作 使用随机前缀和扩容RDD进行join 综合运用各种解决方案 各种shuffle版本 Shuffle调优 Spark资源调优 Spark一点五版本内存模型 Spark二的内存模型 Whole-stageCodeGeneration JVM的架构 三大区域是如何配合工作的 堆结构 jdk八内存模型 堆内存溢出案例演示 MA工具简单介绍 GC日志格式说明 堆内存配置演示 栈参数配置 垃圾回收算法介绍 stop-the-world 垃圾回收算法 垃圾回收器简介 常见的回收器配置演示 CMS垃圾回收器 hadoopJVM调优演示 垃圾回收器简介 性能监控工具简介 大对象直接进入老年代 如何去找源代码 如何关联源码 Master启动流程 Master和Worker的启动流程 Sparak-submit提交流程 SparkContext初始化 创建TaskScheduler DAGScheduelr初始化 TaskSchedulerImp启动 Master资源调度算法 TaskSchedulerImlUML图 Executor注册 Executor的启动UML图 Spark任务提交 Task任务运行 Spark任务提交详细流程 Spark任务提交流程画图总结 BlockManager深入剖析 CacheManager深入剖析 关于默认的分区数说明 SparkCore官方案例演示 Spark的前世今生 Spark的版本说明 什么是DataFrame DataFrame初体验 RDD转DataFrame方式 RDD VS DataFrame SparkSQL数据源之-load SparkSQL数据源之-save SparkSQL数据源之json和parquet SparkSQL数据源之jdbc Spark数据源之Hive ThriftServer SparkSQL案例演示 SparkSQL与Hive整合 SparkSQL之UDF SparkSQL之UDAF SparkSQL之窗口函数 GoupBy和agg 知识总结 为什么会有kafka出现 kafka的核心概念 kafka核心概念再次梳理 对各种语言的介绍 消息系统的好处 消息系统的分类和(pull,push)的区别 kafka集群的架构 kafka集群的搭建 集群测试演示 kafka数据的HA kafka的设计 kafak代码测试 kafka的offset 简谈SparkStreaming的未来 SparkStreaming的运行流程 DStream画图详解 流式计算的流程 SocketStreaming案例演示 HDFSDStream案例演示 UpdateStateBykey案例演示 transform之黑名单过滤演示 Window操作案例演示 transform之黑名单过滤演示补充 ForeachRDD案例演示 kafka-sparkStreaming整合演示 kafka 多线程消费数据 kafka使用线程池的方式并行消费数据 SparkStreaming的容错性 SparkStreaming VS Storm SparkStremiang和Kafka整合（手动控制偏移量） SparkStreaming调优之并行度 SparkStreaming调优之内存 SparkStreaming调优之序列化 SparkStreaming调优之JVM&GC; SparkStreaming调优之个别task运行慢 SparkStreaming调优之资源不稳定 SparkStreaming之数据量暴增 SparkStreaming源码导读前言 SparkStreaming运行原理 SparkStreaming通信模型原理 StremaingContext的初始化 Receiver启动流程导读 Receiver启动流程UML总结 Block生成原理解析 Block生成和存储原理剖析 责任链模式 BlockRDD生成和Job任务提交 图计算引入 图计算案例演示 图的基本组成 图存储 找好友案例演示 Spark新特性 RDD&DataFrame;&DataSet; SparkSession访问Hive补充说明 DataFrame和DataSetAPI合并 项目流程介绍 项目整体概况 大数据项目的数据来源 项目背景 常见概念 项目需求 项目整理流程 从表的设计引发的思考 获取任务参数 需求一数据信息 需求一根据条件筛选会话 需求一举例说明 需求一点击下单支付品类TopN 需求二需求分析 需求二数据信息 需求二获取用户行为数据 需求二用户表和信息表join 需求二再次需求分析 需求二自定义UDF函数 需求二自定义UDAF函数 需求二各区域商品点击次数统计 需求二城市信息表和商品信息表join 需求二各区域热门商品统计 需求二把结果持久化导数据库 需求二总结 需求三需求分析 需求三数据信息 需求三思路梳理 需求三从kafka获取数据 需求三对数据进行黑名单过滤 需求三动态生成黑名单 需求三实时统计每天各省份各城市广告点击 需求三实时统计各省份流量点击 需求三实时统计广告点击趋势 需求三总结 项目背景 DSP流程 项目流程说明 Utils工具类开发 需求一功能开发 打包把代码提交到集群运行 需求二说明 报表需求说明 统计各省市数据量分布 定义字表统计函数 省份城市报表统计 App报表统计 用户画像需求 打标签 合并上下文标签 上下文标签测试运行 我们为什么需要图计算 图的基本概念 简单案例演示 合并上下文标签的思路 简单案例演示说明 继续梳理思路 生成用户关系表 合并标签