论文研究 Storm流式计算框架反压机制研究.pdf

Storm集群提供了强大的实时处理能力，Storm上下游处理节点由于任务差异而导致数据流元组Tuple处理超时从而影响系统吞吐量及其性能。针对该问题，提出了一种能够灵活调节Topology中各环节数据负载的反压机制，该机制采用可变队列，并根据当前Tuple负载动态调整队列大小，以适应数据负载的动态变化，并提升系统吞吐量。实验结果表明，该反压机制能够避免反压过程中出现数据流的震荡，同时提高系统性能和稳定性。