我们最近做了一个基于beam nexmark的性能对比测试[1]，你可以参考一下。 和beam的测试不同的是，我们用各自引擎的API对着测试case描述的场景重新写了一下，并不是像这个里面一样全都用 beam的api写测试case，然后翻译到多个runner之上。
[1] https://beam.apache.org/documentation/sdks/java/testing/nexmark/ Best, Kurt On Fri, Jun 12, 2020 at 10:49 AM Zhonghan Tang <13122260...@163.com> wrote: > Hi, > 近期我需要做一个 Flink/SparkStreaming 吞吐/延时的性能分析, 我发现网上这方面资料很少, 只有17年美团/15年yahoo > 做了一个类似的分析. 问题如下: > 1. 简单的读kafka写kafka 要如何记录数据进flink/出flink 的时间? 如果是打时间戳要怎么打? 打的话会不会影响性能? > 2. 我想到的场景是: 简单插数etl, 基本的过滤, 窗口. 请问还有没有什么定性定量的方式可以测量框架性能? > > > 美团链接: > > https://tech.meituan.com/2017/11/17/flink-benchmark.html?spm=a2c6h.13066369.0.0.5e3c1455V4UrXH > yahoo: > > https://yahooeng.tumblr.com/post/135321837876/benchmarking-streaming-computation-engines-at > > > | | > Zhonghan Tang > | > | > 13122260...@163.com > | > 签名由网易邮箱大师定制 > >
