Flinksql 计算特征标签自身状态变化

Dear Flink： 一需求， FlinkSQL可以用udf实现，捕获标签值的变化。 例如： 若当前用户由低端用户变为中端用户或由中端用户变为高端用户，输出只要用户state状态发生变化，结果用户状态打标为1，反之为0； 有什么好的实现方式没?

Flink应用高可靠

Dear Flink： 你好！ 现有一个需求，Flink实时计算平台任务对下游用户很重要，不能出问题。单位准备搭建一套灾备大数据实时集群（kakfa/yarn/hdfs）去部署相同的Flink任务，做应用热备或冷备部署! 下游业务系统没有做双活热备部署！ 疑问是: 1. 主集群故障，切换灾备集群 涉及有大量带中间状态的数据实时应用一旦主集群出问题，灾备集群如何同步最新状态的数据进行计算 2. 主集群若恢复，灾备集群切换后的正常任务如何做数据回迁处理 针对上述需求，社区有没有案例可以提供测试验证！谢谢

flinksql的udf中可以使用Operator state的api么？

hi,你好: 通过flinksql读kafka数据流，实现监控用户信息基于上一次状态值发生变更触发最新用户信息输出.

Re:回复：如何监控kafka延迟

@Jimmy Zhang 了解下checkpoint/savepoint 中间计算的结果可以间隔时间写入外部hdfs等 在 2021-08-09 09:51:21，"Jimmy Zhang" 写道： >您好，看到你们在用kafka相关metrics，我想咨询一个问题。你们是否遇见过在重启一个kafka sink >job后，相关指标清零的情况？这样是不是就无法持续的进行数据想加？我们想做一个数据对账，查询不同时间段的输出量统计，这样可能中间归零就有问题，所以想咨询下，任何的回复都非常感谢！ > > > > >| >Best, >Jimmy >| > >Signature is c

??????????: flink-1.11.2 ?? ????????????

??, ; taskmanager.memory.task.off-heap.size taskmanager?? streamTableEnv.getConfig().getConfiguration().setString(key, value); --  -- ??:

Flink(1.8.3) UI exception is overwritten, and the cause of the failure is not displayed

versin: 1.8.3graph: source -> map -> sink Scenes??  source subtask failed causes the graph to restart, but the exception displayed on the flink UI is not the cause of the task failure displayed?? JM log: 020-06-22 14:29:01.087 INFO  org.apache.flink.runtime.executiongraph.ExecutionGraph  - Jo

回复：在已有 Hadoop 外搭建 standalone 模式 HA flink 集群

https://ci.apache.org/projects/flink/flink-docs-stable/ops/jobmanager_high_availability.html ---原始邮件--- 发件人: "wangl...@geekplus.com.cn"

大数据集群开启了kerberos认证 TM上kafka连接不上

@user-zh@flink.apache.org : CDH集群kafka认证协议选择是： SASL_PLAINTEXT 提交FlinkPerjob任务,发现TaskManager端连接kafka没有进行认证初始化，kafka客户端连接不上broker! 提交脚本如下： ./flink/bin/flink run \ -m yarn-cluster \ -yD env.java.opts="-Djava.security.auth.login.config=/software/servers/keytab/kafka_c

Fwd: Checkpoint使用

1，你说的应该是savepoint吧，checkpoint是运行中failover自动恢复的，savepoint如果设置了uid，改变并行度是可以从savepoint启动的 > 下面是被转发的邮件： > > 发件人: yanggang_it_job > 主题: Checkpoint使用 > 日期: 2019年8月27日 GMT+8 下午6:08:24 > 收件人: user-zh@flink.apache.org > 回复－收件人: user-zh@flink.apache.org > > 关于flink从checkpoint的问题： > 1、如果我的并行度发生了改变

Fwd: PathIsNotEmptyDirectoryException 异常

https://issues.apache.org/jira/browse/FLINK-13856 可能是 s3a的问题，删除操作是不是阻塞的？ 报错看起来是因删除文件夹时候前面的删除操作还没完成。文件不是空的 > 下面是被转发的邮件： > > 发件人: 王佩 > 主题: PathIsNotEmptyDirectoryException 异常 > 日期: 2019年8月24日 GMT+8 下午4:49:36 > 收件人: user-zh > 回复－收件人: user-zh@f