从400+节点ElasticSearch集群的运维中我们总结了这些经验

墨墨导读:国外一家舆情监控公司Meltwater每天处理的数据非常庞大——在高峰期需要索引大约300多万社论文章,和近1亿条社交帖子数据。其中社论数据长期保存以供检索(可回溯到2009年),社交帖子数据保存近15个月的。当前的主分片数据使用了大约200 TB的磁盘空间,副本数据大约600 TB。 本文是Meltwater的工程师结合工作中实践,分享了Elasticsearch调优秘笈,以及要绕过的一些陷阱。 Meltwater每天要处理数百万量级的帖子数据,因此需要一种能处理该量级数据的存储和检索技术。 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。在经