论文研究基于Hive的海量搜索日志分析系统研究.pdf

针对传统分布式模型在海量日志并行处理时的可扩展性和并行程序编写困难的问题,提出了基于Hive的Web海量搜索日志分析机制。利用HQL语言以及Hadoop分布式文件系统(HDFS)和MapReduce编程模式对海量搜索日志进行分析处理,对用户搜索行为进行了分析研究。对用户搜索行为中的查询热点主题、用户点击数和URL排名、查询会话的分析结果对于搜索引擎的排序算法和系统优化都有一定的指导意义。