论文研究支持Hadoop大数据访问的pNFS框架研究与实现.pdf

随着大数据时代到来，分布式文件系统支持Hadoop大数据访问已成为一种趋势。以研究支持Hadoop大数据访问的pNFS框架为目的，采用在Hadoop与pNFS之间添加pNFSshimlayer模块的方法，实现了pNFS支持Hadoop大数据访问的HDFSAPIs；通过在pNFSshimlayer中添加写缓存和节点级数据布局感知机制优化了系统性能。采用Hadoop基准程序对提出的框架进行测试，结果显示写性能提升超过45%，读性能提升超过97%，证明此框架可以有效地支持Hadoop大数据访问。