面向搜索引擎的分布式文件系统性能分析.pdf

摘 要:搜索引擎是一种数据密集型应用, 其性能极大依赖于底层文件系统的性能. 文中 主要讨论分布式文件系统在搜索引擎应用环境下的性能评估和性能优化问题. 首先概述 了分布式文件系统的性能影响因素及相关研究进展; 在此基础上提出基于 Hadoop 的开放 架构, 系统地评估HDFS 和Lustre 在搜索引擎应用场景下的性能; 最后针对实验评估发现的 HDFS 在写性能及小文件数据处理方面的不足, 提出改进方案, 为搜索引擎的分布式文件 系统优化提供参考. 个人觉得比较好