基于Hadoop的网络日志分析系统研究

查看网络日志是调查系统故障监控系统运行状况的重要手段管理员可以查看在某段时间内所发生的事件也可以通过对各个日志文件进行分析获取知识由于日志具有数据量大不易读懂的特点如果仅凭借管理员查看日志记录的手段其中所蕴含的有用信息也难以发现分布式计算技术正好可以用来解决这一难题阐述了syslog日志收集流程详细介绍了Hadoop分布式计算框架设计并实现了一套基于Hadoop的网络日志分析系统实验证明该系统是有效而实用的