Yahoo的流计算引擎基准测试
这篇来自雅虎工程博客的文章，对他们团队开源的流计算基准测试（streaming-benchmarks）进行了详细解读。测试背景是雅虎生产环境中大规模使用Storm，但面对Flink、Spark Streaming等新兴框架的竞争，需要一份更贴近真实世界场景的性能对比报告。 基准测试设计了一个典型用例：从Kafka读取JSON事件，处理后写入Redis时间窗口计数。核心对比聚焦于三大主流引擎：Apache Storm、Apache Flink 和 Apache Spark Streaming。 测试的关键结论非常明确：Storm 0.10.0 和 Flink 0.10.1 均展现出亚秒级的低延迟特性，其中Storm在99%的百分位数上取得了最低的延迟表现，体现了其在实时性上的传统优势。Flink在保持低延迟的同时，也提供了较高的吞吐量。相比之下，Spark Streaming 1.5.1 能够支持很高的吞吐量，但代价是其端到端延迟明显高于前两者。 文章也坦诚地指出，早期版本的Flink基准测试代码存在一个调试残留问题，这提醒读者在参考任何性能数据时，都需要关注其测试条件与代码版本的严谨性。整个测试的价值在于，它并非空谈理论，而是基于一个与雅虎内部使用场景高度相似的开源基准，为不同流处理技术在延迟与吞吐量这对核心指标上的权衡，提供了直接的参考依据。