【Flink SQL】维表优化规则建议

2021-01-08 文章 张韩
版本:1.12 问题:维表关联若是支持事件时间,维表需要有主键和时间属性,在满足这两个条件前提下,自定义维表若是实现LookupTableSource接口则优化会报异常: Caused by: org.apache.calcite.plan.RelOptPlanner$CannotPlanException: There are not enough rules to produce a node with desired properties: convention=STREAM_PHYSICAL, FlinkRelDistributionTraitDef=any, MiniBatc

【Flink SQL】维表优化规则建议

2021-01-08 文章 张韩
版本:1.12 问题:维表关联若是支持事件时间,维表需要有主键和时间属性,在满足这两个条件前提下,自定义维表若是实现LookupTableSource接口则优化会报异常: Caused by: org.apache.calcite.plan.RelOptPlanner$CannotPlanException: There are not enough rules to produce a node with desired properties: convention=STREAM_PHYSICAL, FlinkRelDistributionTraitDef=any, MiniBatc

Re: Re:Re: Re:flink作业通过grafana监控,若想发出报警该如何选择指标的问题

2021-01-08 文章 赵一旦
使用Flink的rest api不可以嘛。我是standalone集群,写个python脚本,写了个list为expected_jobs,如果发现集群没这个job就报警。 Yun Tang 于2021年1月8日周五 上午10:53写道: > 因为numRestarts 是一个累计值,所以你得区分当前值和之前的数值是否发生了增加,来区分是否发生了failover。 > > > 另外,不建议使用YARN的application状态来判断Flink作业状态,因为如果Flink作业配置了重试策略,即使作业不断进行failover,整个YARN的application状态仍然是RUNNING,并

flink1.12的kafka source 和 OperatorCoordinator

2021-01-08 文章 hao kong
hello,我一直在关注FLIP-27实现的全新source,更新1.12后发现了已经有新的kafkasource实现,目前在使用kafkasource与coordinator通信的时候遇到了困难。 我创建了一个kafkasource和对应的operatorCoordinator,并在source上create了一个reader,在operatorCoordinator的handleEventFromOperator上打了一个断点,在启动的时候能够成功收到注册reader的消息,但是无法收到其他通过sourceReaderContext的sendSourceEventToCoordinato

FlinkSQL 的表中 定义字段为Float类型,查询时报错

2021-01-08 文章 automths
Hi: 我用Table API创建了一张表,表字段如下: key:FLOAT, col1: FLOAT, col2: FLOAT, col3: FLOAT 使用如下SQL进行查询: select * from flink where (key < 5) or ((key > 10 and key < 12) or (key in (15, 16, 17)) or (key > 18 and key <= 19)) 执行时报了如下错误: Exception in thread "main" java.lang.UnsupportedOperationException: clas

腾讯安检测的这个Apache Flink目录遍历漏洞风险通告,社区会对以前的版本根据修复吗

2021-01-08 文章 zhouyajun
报告链接:https://s.tencent.com/research/bsafe/1215.html -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:Flink1.12怎么降级avro到1.8.2?

2021-01-08 文章 Dacheng
最终自己在 maven-shade-plugin的方向上有了突破 对“Error creating shaded jar SubmissionPublisher”的报错,网上并没有找到什么有用的信息 但尝试升级 maven-shade-plugin 版本3.2.0 -> 3.2.4 之后可以解决 在 2021-01-07 20:55:14,"Dacheng" 写道: >Hi, > > >大家好, > > >降级avro遇到的问题 >在1.12官方文档里提到avro目前使用1.10,但是可以按需降级到1.8.2 >https://ci.apache.org/pr

检查点无错误,但是日志中有错误,不清楚是什么原理呢?

2021-01-08 文章 赵一旦
检查点无错误,但检查点配置的后端sdk有报错,所以不清楚这个错误究竟有没有影响。下面是报错堆栈,帮忙分析下这个是写检查点数据的过程吗?如果是的话,404是什么意思。找不到?找不到啥。。。 com.baidubce.BceServiceException: Not Found (Status Code: 404; Error Code: null; Request ID: 624d3468-8d7b-46f7-be5d-750c9039893d) at com.baidubce.http.handler.BceErrorResponseHandler.handle(BceEr