1. 首页
  2. 数据库
  3. 其它
  4. 大数据框架整理

大数据框架整理

上传者: 2020-12-31 13:49:46上传 PDF文件 101KB 热度 9次
大数据离线部分 一、HDFS 1:HDFS的架构部分及工作原理 NameNode:负责管理元素据,将信息保存在内存中 DataNode:保存数据,以块的形式保存。启动后需要定时的向NameNode发送心跳,报告自身存储的块信息 2:HDFS的上传过程 3:HDFS的下载 4:NameNode的元数据安全机制 以记日志的形式将每一个操作写在磁盘的日志文件中,然后借助Secondary NameNode的checkpoint功能将fsImage和日志进行合并。 重点:记住checkpoint工作过程 5:如果服务器的磁盘坏了,如何挽救数据
用户评论