1. 首页
  2. 数据库
  3. 其它
  4. Spark基础知识03——序列化

Spark基础知识03——序列化

上传者: 2021-01-15 17:01:48上传 PDF文件 50.53KB 热度 13次
一、序列化 实现序列化:extends Serializable 首先,任务提交的过程,需要先在Driver端进行初始化,算子的函数需要的Executor端进行计算。 Driver端的计算过程需要传给Executor端进行实际的计算,就需要发生网络io, 而Executor端的计算需要在jvm里进行计算, Driver端传过来的对象在jvm中是以字节表示 所以,在节点传输对象的时候,就需要将所传输的对象进行序列化 所以会发生这样的场景:当一个对象从Driver端传输到Executor端的时候就需要进行序列化 通过实例总结:
用户评论