大数据挑战与NoSQL数据库技术.pdf

本书共分为三部分。理论篇重点介绍大数据时代下数据处理的基本理论及相关处理技术，并引入NoSQL 数据库；系统篇主要介绍了各种类型 NoSQL 数据库的基本知识；应用篇对国内外几家知名公司在利用 NoSQL 数据库处理海量数据方面的实践做了阐述。 本书对大数据时代面临的挑战，以及 NoSQL 数据库的基本知识做了清晰的阐述，有助于读者整理思路，了解需求，并更有针对性、有选择地深入学习相关知识。为什么写本书计算机技术已经深刻地影响了我们的工作、学习和生活。大数据及技术是现今领域最炙于可热的话题,其发展非常迅速,潜力巨大,悄然改变着整个行业的面貌。随着技术的发展,微博、社交网终、电子商务、生物工程等的不断发展,各领域数据呈现爆炸式的增长,传统关系型数据库显得越来越力不从心。数据库技术的出现为当前面临的问题提供了新的解决方案,它摒弃了传统关系型数据库的特性,采用分布式多节点的方式,更加适合大数据的存储和管理政府和高校都十分重视对大数据及技术的研究和投入;在产业界,各大公司也在投入大量的资源研究和开发相关的产品,与之相应的新兴技术和产品正在不断涌现。这一切都极大地推动」技术的发展。人数据处理和技术涉及的内容繁多,目前不同公司也有不同的数据库产品,而且某一产品往往是为特定的应用而改计旳,并不一定能够适用于所有的场景。很多人在学习的初始阶段需要进行大量的摸索和实践,然而目前这方面系统的参考资料却非常少。为了便于所有想了解和掌握技术的朋友学习,并在学习的过程中少走弯路,笔者将自己在该领域的经验和知识的积累凝聚在本书,希望能够推动大薮据处理及相关技术在国内的发展。本书面向的读者在编写本书时,我们力图使不同背景和职业的读者都能从其中获益。如果你是专业技术人员,本书将带领你快速地进入大数据处理及的世界,全面掌握及其相关技术,帮助你使用技术解决面临的问题或提供必要的参考。如果你是高等院校计算机及相关专业的学生,本书为你在课堂之外了解最新的打开一扇窗,帮助你拓宽视野,完善知识结构,为迎接未来的挑战做好知识储备。V|大数据挑战与 NOSOL数据库授术在学习本书之前,应具有如下的基础:有一定的操作系统的基础知识。有较好的编程基础和岚读代码的能力。对数据库知识有一定的了解。如何阅读本书本书·共包括章,分为三个部分。其中第一部分为理论篇,包括:大数据产生的背景数据一致性理论、数据存储模型、数据分区与防治策略、海量数据处理方法、数据复制与容错技术、数据压缩技术和数据缓存技术。此部分重点从理论上介绍、分析大数据管理过程中遇到的各方面问题。第二部分为系统篇,包括:键值数据库、列存薮据厍、文档数据厍、图存薮据库、基于的数据库管理系统、数据库以及分布式缓存系统。该部分以理论篇为基础,根据数据冇储模型对数据库类型进行划分,每一部分以具体开源数据库为实例进行介绍,涉及系统的架构、安装以及使用等方面知识,力图使读者对数据厍有具体的认识。第三部分为应用篇,包括企业应用以及经验总结和对未来的展望。该部分介绍企业如何使用数据库解决自身遇到的问题。在阅读本书时,读者可以先系统地学理论篇的知识,对海量数据处理方法有一个很好的理解,在此基础之上,读者可以对后面的章节进行选择性的学习。本书涉及内容较多,从开源数据厍方面讲,包括了等将近个数据库。因此,建议读者可以重点学习感以趣有一定需求的数据库系统。当然,如果时间允许,还是建议读者系统地学习本书的内容。另外,在系统篇的学习过程中,建议读者能够一边阅读,一边棖据书中的指导进行实践亲自实践本书中所给出的编程范例。致谢在本书的编写过程中,还有很多领域的实践者和研究者为书做了大量的工作他们是张林林、许翔、程明、王海涌、顾向楠、吴少辉、杨宁、杨华、吴梦迪、任乔意、於洋张轩等,在此特别感谢。在线资源及勘误木书官方网站为:。本书的勘误、讨论以及相关资料等言|V都会在该网站上发布和更新。在本书的撰写和相关技术的岍究中,尽管笔者投入了大量的精力,付出了艰辛的努力,然而受知识水平所限,错误和疏漏之处在所难免,恳请大家批评指正。如果有任何问题和建议可发送邮件至或陆嘉恒年月于北京目录第章概论大数据挑战大数据的存储和管理并行数据库数据管理系统数据管理系统云数据管理大数据的处理和分析小结参考文献理论篇第章数据一致性理论理论数据一致性模型数据一致性实现技术系统策略两阶段提交协议时间戳策略向量时钟目录|Ⅶ小结参考文献第章数据存储模型总论键值冇储列式存储与文档存储图形存储小结参考文献第章数据分区与放置策略分区的意义为什么要分区分区的优点范围分区列表分区哈希分区三种分区的比较放置策略致性哈希算法容错性与可扩展性分析虛拟节点小结|大数据挹抄战与 Nose数据库技术参考文献第章海晕数据处理方法简介数据流数据处理提交作业初始化作业分配任务执行任务更新任务执行进度和状态完成作业简介介绍执行引擎解径引擎编程数据处理步骤小结参考文献第章数据复制与容错技术海量数据复制的作用和代价海星数据复制的策略的复制策略的复制策略的复制策略海量数据的故障发现与处理的故障发现与处理的故障发现与处理的故障发现与处理小结目录|Ⅸ参考文献第章数据压缩技术数据压缩原理数据压缩的定义数据为什么可以压缩数据压缩分关传统压缩技术霍夫曼编码算法海量数据带来的挑战混合列压缩仓库压缩存档压缩数据压缩技术子找长的重复串压缩算法压缩技术简介原理参考文献第章缓存技术分布式缓存简介分布式缓存的产生分布式缓存的应用分布式缓存的性能衡量可用性的标准分布式缓存的内部机制生命期机制致性生机制直读与直写机制Ⅹ|大数据挑战与 NOSQL数据库技术杏询机制事件触发机制分布式缓存的拓扑结构复制式拓扎分割式拓扑客户端缓存拓扑小结参考文献系统篇第章数据库模型综述概述下或与安装入门操作在业内的应用概述下载与安装配置开发介绍小结参考文献第章数据库数据库简介数据库数据库简个数据模型基础架构数据库