[ANNOUNCE] Apache Flink 1.16.0 released

2022-10-27 文章 Xingbo Huang
The Apache Flink community is very happy to announce the release of Apache Flink 1.16.0, which is the first release for the Apache Flink 1.16 series. Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applicat

Re: Flink k8s operator高可用部署Flink Session Cluster,提交job遇到异常。

2022-10-27 文章 Weihua Hu
Hi, Young 你的分析是正确的。Flink kubernetes operator 是通过 rest service 来跟 Flink cluster 通信的,Kubernetes 会随机将发往 service 的请求路由到后端的多个 JM Pod 上。任务提交流程分为了:uploadJar,runJob,deleteJar 三个 API,所以会在 opeartor 的日志里看到相关的错误。 也许你可以创建一个 jira issue 来跟进这个问题 Best, Weihua On Thu, Oct 27, 2022 at 6:51 PM Young Chen wrote:

Re: flink web ui cancel job时能否指定要不要生成savepoint?

2022-10-27 文章 Jinzhong Li
hi casel, 目前web ui上应该不支持触发savepoint。 如果要使用stop-with-savepoint功能的话, 可以通过bin/flink[1]或者rest api[2]的方式。 [1] https://nightlies.apache.org/flink/flink-docs-master/docs/ops/state/savepoints/#stopping-a-job-with-savepoint [2] https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/#jobs-j

Re: flinksql-redis插件

2022-10-27 文章 Shengkai Fang
Hi. 可以看看这个回答[1]。 Best, Alibaba [1] https://stackoverflow.com/questions/71779752/why-is-redis-source-connector-not-available-for-flink Jason_H 于2022年10月26日周三 14:23写道: > hi, > 请问一下,flinksql读写redis,官方有没有成熟的插件。如果没有,请教一下大家用的什么插件去读写redis,来做维表join的,谢谢。 > > > | | > Jason_H > | > | > hyb_he...@163.com

flink web ui cancel job时能否指定要不要生成savepoint?

2022-10-27 文章 casel.chen
flink web ui cancel job时能否指定要不要生成savepoint? 目前是直接cancel job without savepoint的。

Re: flinksql 维表join

2022-10-27 文章 Lincoln Lee
Hi, Flink 的 lookup join 目前不支持对维表进行预处理, 并且需要有对维表原始字段的等值连接条件(因为需要通过确定的字段值去查找) 示例中 t4 字段不做计算应该是 work 的, 比如 udf(t1.telephone_no) = t4.de_mobile Best, Lincoln Lee Fei Han 于2022年10月27日周四 12:12写道: > 大家好!请教几个问题 > 1. FlinkSQL维表join的时候,能不能把维表先用flinksql 当做一个临时表,然后在用临时表做维表join > 例如:临时表 > WITH employee

Re: 使用flink-operator 配置中的 taskmanager.numOfSlots 取值存在问题?

2022-10-27 文章 Weihua Hu
Hi, LiTing 这是因为 flink-operator 默认配置中有以下两项默认值。 > taskmanager.numberOfTaskSlots: 2 > parallelism.default: 2 你可以在作业的 yaml 的 flinkConfiguration 中覆盖这两个默认配置 Best, Weihua On Thu, Oct 27, 2022 at 9:12 AM Jason_H wrote: > hi,Liting Liu > > 看你的设置,是将并行度设置为了2,那么作业在运行的时候,所用到的slot为2个,你可以尝试修改并行度,来验证是否这个参

Re: Flink Forward Asia 2022 议题征集

2022-10-27 文章 Steven 王昱翔
收到,感谢! 2022年10月8日 11:41,王翔 mailto:wangxiang921...@163.com>> 写道: 今年的 Flink Forward Asia 2022 已正式启动!暂定于 11 月在线上举办,探讨交流 Flink 最新动态。 延续 FFA 惯例,会议所有议题均为开放征集而来,并由专业的议题评选委员会评分筛选,确保内容代表行业领先水平。 Flink Forward Asia 2022 将采用议题标签的形式呈现所有大会精彩内容,围绕 Flink 横跨多行业,新场景。每个议题可以选择 1-2 个标签。主要标签划分如下: [cid:4333d1c8$2$

Flink k8s operator高可用部署Flink Session Cluster,提交job遇到异常。

2022-10-27 文章 Young Chen
【问题描述】 Flink k8s operator(v1.1.0)高可用部署了一个Flink Session Cluster(两个JobManager), 然后用SessionJob 部署一个例子job,job有时可以部署,有时部署不了。 可以看到容器中如下error日志。 【操作步骤】 部署Cluster apiVersion: flink.apache.org/v1beta1 kind: FlinkDeployment metadata: name: flink-cluster-1jm-checkpoint spec: image: flink:1.