Re: flink 1.12.2 sql-cli 写入Hive报错 is_generic

可以发一下具体的SQL语句么（包括DDL和insert）？ On Wed, Apr 21, 2021 at 5:46 PM HunterXHunter <1356469...@qq.com> wrote: > 在ddl的时候设置了 watermark。在任务页面查看watermark的时候一直没有更新watermark > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ > -- Best regards! Rui Li

flink mysql cdc????

??flink mysql cdc 1.flink mysql cdc??mysql??binlog??mysql

请问在使用processfunction 中的processelement()和onTimer()需要考虑并发问题吗？

如题，谢谢各位。 发自我的iPhone

Re: 疑问：当开启state.backend.incremental 后 Checkpointed Data Size 会不断变大

你好 我也遇到了 所以这个问题你知道原因了没 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.12.2使用rocksdb状态后端，checkpoint size变大

452 COMPLETED 103/103 2021-04-22 17:29:12 2021-04-22 17:29:12 325ms 4.40 MB 0 B (5.39 KB) 451 COMPLETED 103/103 2021-04-22 17:28:12 2021-04-22 17:28:12 122ms 4.43 MB 9.36 KB (15.2 KB) 450 COMPLETED 103/103 2021-04-22 17:27:12 2021-04-22 17:27:12 124ms

flink1.12.2，interval join并没有 inProcessingTime() and inEventTime()

FLIP-134: Batch execution for the DataStream API Allow explicitly configuring time behaviour on KeyedStream.intervalJoin() FLINK-19479 Before Flink 1.12 the KeyedStrea

????upsert-kafka connector??????

?? upsert-kafka connector source??key??

Re: 关于upsert-kafka connector的问题

Hi, 请问是有什么具体的问题吗？ Best, Shengkai op <520075...@qq.com> 于2021年4月22日周四 下午6:05写道： > 用 upsert-kafka connector 作为source，会有key的插入和更新出现乱序导致结果不准的问题吗？ > 谢谢

Re: Flink 1.12.0 隔几个小时Checkpoint就会失败

你好，我也遇到了这个问题，你的checkpoint是怎么配置的，可以参考一下吗 Haihang Jing 于2021年3月23日周二 下午8:04写道： > 你好，问题定位到了吗？ > 我也遇到了相同的问题，感觉和checkpoint interval有关 > 我有两个相同的作业（checkpoint interval > 设置的是3分钟），一个运行在flink1.9，一个运行在flink1.12，1.9的作业稳定运行，1.12的运行5小时就会checkpoint > 制作失败，抛异常 org.apache.flink.util.FlinkRuntimeException: Excee

回复：Flink 1.12.0 隔几个小时Checkpoint就会失败

唉，这个问题着实让人头大，我现在还没找到原因。你这边确定了跟我说一声哈😊 | | 田向阳 | | 邮箱：lucas_...@163.com | 签名由 网易邮箱大师 定制 在2021年04月22日 20:56，张锴 写道： 你好，我也遇到了这个问题，你的checkpoint是怎么配置的，可以参考一下吗 Haihang Jing 于2021年3月23日周二 下午8:04写道： > 你好，问题定位到了吗？ > 我也遇到了相同的问题，感觉和checkpoint interval有关 > 我有两个相同的作业（checkpoint interval > 设置的是3分钟），一个运行在fli

flink run命令是否支持读取远程文件系统中的jar文件？

flink run是否支持读取远程文件系统，例如oss://或hdfs://路径下的jar文件？看源码是需要构建PakcagedProgram，而它的构造函数中有一个File jarFile参数。不知是否能够从oss路径或hdfs路径构建出File对象。

Re: 疑问：当开启state.backend.incremental 后 Checkpointed Data Size 会不断变大

没解决，我只能把它关闭了 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re:请问在使用processfunction 中的processelement()和onTimer()需要考虑并发问题吗？

这两方法是同步的方式执行的，同时只能执行一个 在 2021-04-22 15:35:07，"x2009438" 写道： >如题，谢谢各位。 > > >发自我的iPhone

?????? ????upsert-kafka connector??????

??upsert-kafka??key --  -- ??: "user-zh"

Re:flink mysql cdc????

CDCbinlog ?? 2021-04-22 14:22:18??"" <1353637...@qq.com> ?? >??flink mysql cdc >1.flink mysql >cdc??mysql??binlog?

Re:?????? flink sql????kafka join??????????????????????

?? ?? 2021-04-22 11:21:55??"" ?? >Tidb??Tidb??TiDBstructured-streaming?? >?? > > > > >--  

flink native k8s ????????

flink 1.12.2 Native K8s, ./bin/kubernetes-session.sh \   -Dkubernetes.namespace=flink-session-cluster \   -Dkubernetes.jobmanager.service-account=flink \   -Dkubernetes.cluster-id=session001 \   -Dtaskmanager.memory.process.size=1024m \   -Dkubernetes.taskmanager.cpu=1 \   -

Re: Re:回复： flink sql消费kafka join普通表为何会性能爬坡？

我这边有使用jdbc table属性加了本地缓存 尝试把cache size设置为400/2/4，然后重启，消费kafka速度都是需要慢慢上涨 -- Sent from: http://apache-flink.147419.n8.nabble.com/

多个复杂算子保证精准一次性

您好， 我有如下代码： datastream.process(new Process1()).process(new Process2())… 这些Process可能有些复杂的计算操作 请问，如果我要保证端到端的精准一次性，我应该在所有的算子上都维护一个状态还是只在最后一个算子维护状态？

Re: 关于upsert-kafka connector的问题

如果数据在upsert-kafka中已经做到了按序存储（相同key的数据放在同一个partition内），那么flink消费的时候可以做到保序。 Best, Shengkai

Re: Flink job消费kafka 失败，无法拿到offset值

你好 Jacob， 从错误上来看是 Kafka Consumer 没有连上 Kafka Brokers。这些方法可能帮助排查问题： 1. 确认 Flink TaskManager 和 Kafka Broker 之间的网络连通性。 2. Flink TaskManager 与 Kafka Broker 之间网络连通并不意味着能够消费数据，可能需要修改 Kafka Broker 的配置。这篇文章[1] 或许会有帮助，绝大多数 Kafka 的连接问题是由于文章中描述的配置问题导致的。 3. 配置 Log4j 将 org.apache.kafka.clients.consumer 的 Log

Re: flink run命令是否支持读取远程文件系统中的jar文件？

hi session ,per-job 模式是不支持的 application 模式是支持的 - Best Wishes JasonLee -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? ????upsert-kafka connector??????

??upsert-kafkasinkkeypartition??keyA??B??kafka, ??upsert-kafka??key??A??B??A --  -- ??: