FacebookMessages系统问题与解决方案

HDFS设计的初衷是为了存储大文件(例如日志文件),面向批处理、顺序I/O的。然而架设在HDFS之上的HBase设计的初衷却是为了解决海量数据的随机读写的请求。把这两种设计初衷截然相反的组件怎么揉在一起的呢?这种分层的结构设计主要是为了使架构更清晰,HBase层和HDFS层各司其职;但是却带来了潜在的性能下降。在很多业务场景中大家使用HBase抱怨最多的两个问题就是:JavaGC相关的问题和随机读写性能的问题。FacebookMessages(以下简称FM系统)系统可以说是HBase在onlinestorage场景下的第一个案例(《ApacheHadoopGoesRealtimeatFaceb