Re: 未生成水位线

2021-01-29 Thread Jessica.J.Wang
看一下 WaterMarkAssigner节点 是否有 数据流入 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 对于 Flink 可撤回流做聚合,当上游数据撤回时,最终聚合值变小了,怎么解决这种问题。

2021-01-28 Thread Jessica.J.Wang
要看一下具体的Sql 或者具体的算子 下游的 sink needRetract=false的情况,有些场景可以抑制上游算子的回撤,Retract 可以优化成 Upsert -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 使用DataStream API + HBaseRowInputFormat读取HBase时表时,Row arity of from (2) does not match this serializers field length (1)

2021-01-28 Thread Jessica.J.Wang
可以参照一下 HBaseTableSource 里面的实现方法 HBaseTableSchema hbaseSchema = new HBaseTableSchema(); hbaseSchema.addColumn(xxx) hbaseSchema.setRowKey(xxx); execEnv.createInput(new HBaseRowInputFormat(conf, tableName, hbaseSchema), getReturnType()) .name(explainSource()); -- Sent

Re: 关于端到端的延迟监控

2021-01-28 Thread Jessica.J.Wang
官方的LatencyMarker 表示的是数据的流通性, 他和数据是在同一个pipeline 中顺序处理的,如果你的算子都是同步的情况 是可以反应出数据的真实处理延迟,生产上是可以使用的,但是 延迟粒度 metrics.latency.granularity 最好调整成 single或者 operator ,防止latency上报太多 压垮服务 但当你的算子是个异步 用AsyncWaitOperator实现的话,因为latencyMarker并没有像watermark一样 addToWorkQueue,直接处理上报metrics,所以延迟信息就不准确了

Re: kafka 所有分区无数据的情况下,导致watermark无法前进

2021-01-28 Thread Jessica.J.Wang
你使用的是什么窗口呢,是 Tumble或者Hop吗,如果没数据 但是想提前输出结果可以用 emit https://help.aliyun.com/document_detail/98951.html?spm=5176.11065259.1996646101.searchclickresult.513d1037M5VADa -- Sent from: http://apache-flink.147419.n8.nabble.com/