I suggest we should ban this spamming source..
Best,
tison.
北野 曉美 于2023年8月26日周六 08:11写道：
> 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
>
> 一位联合国高级政治事务官员今天表示，朝鲜最近发射的军事侦察卫星对国际民航和海上交通构成了重大威胁，强调需要采取切实可行的措施来缓解朝鲜半岛的紧张局势，为对话创造空间。
>
>
> 和平与安全
> 考克斯巴扎尔的一个罗兴亚难民营受到气旋“摩卡”冲击。
> 缅甸罗兴亚危机爆发六周年，联合国呼吁
如果 calcite 层的接口不变，直接替换 jar 包或许也可行？不确定从 1.27 -> 1.29 有没有不兼容的情况。
Best,
tison.
Jane Chan 于2023年3月22日周三 18:11写道：
> Hi,
>
> 如回复所述, 如果不想切换版本, 在 1.15 上可以尝试手动 cast 'abc' 字段为 varchar 来绕过这个问题
> map ['msg_code','0', 'msg_reason', cast('abc' as string)]
>
> 如果不想修改 SQL, 目前只能手动编译出 re
你可以关注下发布动态，测试一下 RC
https://lists.apache.org/thread/d9o0tgnv0fl9goqsdo8wmq9121b9wolv
Best,
tison.
tison 于2023年3月22日周三 11:47写道：
> Flink master 上 calcite 的版本是 1.29，看起来会在 Flink 1.17 release 出来
>
> Best,
> tison.
>
>
> Shuo Cheng 于2023年3月22日周三 11:42写道：
>
>> Hi,
&
Flink master 上 calcite 的版本是 1.29，看起来会在 Flink 1.17 release 出来
Best,
tison.
Shuo Cheng 于2023年3月22日周三 11:42写道：
> Hi,
>
> 如果你知道问题出现在哪儿, 可以自己提个 PR 哦.
>
> Sincerely,
> Shuo
>
> On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote:
>
> > 复制执行我提供的两个sql就一定会复现！
> > 不管哪个
这个同样可以看两份材料
*
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/serialization/schema_evolution/
* https://zhuanlan.zhihu.com/p/119305376
简单说来只是改并发的话 Key state 比较好迁移，operator state 各有各的特性。如果明显改了逻辑就需要手动跑出新状态。
Best,
tison.
m18814122325 于2022年7月30日周六
可以看下这两份材料
*
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/datastream/fault-tolerance/checkpointing/
* https://zhuanlan.zhihu.com/p/102607983
其实就是 Flink 里 Exactly-once 的实现方式，简单说来就是分布式快照批量提交，上游数据可以回放。
Best,
tison.
m18814122325 于2022年7月30日周六 14:22写道：
>
> 在Storm中会有ac
你这个邮件地址有点不对劲，可能被邮件列表拦截了，或者没有先通过 user-zh-subscr...@flink.apache.org
订阅。因为上面已经有人回复你了，但是你好像还没看到。
如何订阅邮件列表可以自己搜一下，我记得 Flink China 写过文章手把手教学。在此之前你可以通过
https://lists.apache.org/thread/7v19bkqqwp49vpdmkcr4yvdh6bn5bfkm 看看其他人的回复。
Best,
tison.
LuNing Wang 于2022年7月4日周一 17:11写道：
> 目前我觉得最好的解决办法就是定期重启
Congrats! Thank you all for making this release happen.
Best,
tison.
rui fan <1996fan...@gmail.com> 于2022年6月5日周日 17:19写道：
> Thanks Yang for driving the release, and thanks to
> all contributors for making this release happen!
>
> Best wishes
> Rui Fan
>
> On Sun,
Congrats! Thank you all for making this release happen.
Best,
tison.
rui fan <1996fan...@gmail.com> 于2022年6月5日周日 17:19写道：
> Thanks Yang for driving the release, and thanks to
> all contributors for making this release happen!
>
> Best wishes
> Rui Fan
>
> On Sun,
Flink Table Store 不是应用，而是库。我理解是要配合 Flink
来使用的，断点调试的话，看你的需求，如果只是对一段代码有疑问，跑测试打断点就行了。
Best,
tison.
陈卓宇 <2572805...@qq.com.invalid> 于2022年4月24日周日 09:59写道：
> 您好大佬：
> 我对Flink Table
> Store非常感兴趣，想请教您一下怎么结合flink做断点调试，因为看了一下没有找到入口类
>
> 陈卓宇
>
>
>
@duwenwen 我比较好奇你的算子里做了什么，因为如果你就是要全局初始化唯一一次，那就用一个 parallelism=1 的算子去做就好了。
parallelism=n 你还要确保 once 的话应该得依赖外部系统来做到仅初始化一次。
Best,
tison.
Paul Lam 于2022年4月22日周五 18:16写道：
> 听起来是在 Flink 里启动 springboot? 很有意思的架构，有一点点类似 statefun 了。可以说说这么做的背景吗？
>
> 另外请附带上 flink 的部署模式和版本信息，这样大家才好判断问题在哪里。
我有点好奇官网看到的链接在哪，能不能来个链接捏。
Best,
tison.
Leonard Xu 于2022年4月7日周四 14:47写道：
>
> 项目是开源的[1], 最近快要发布第一个版本了，可以关注下
>
> Best,
> Leonard
> [1] https://github.com/apache/flink-table-store <
> https://github.com/apache/flink-table-store>
>
>
>
> > 2022年4月7日 上午9:
如果就是要 Event Trigger 那就是传统意义上的 Sliding Windows （Flink 的滑动窗口其实是 Hopping
Window），这个确实是 OVER AGG 能搞定的 =。=
Best,
tison.
Tony Wei 于2021年11月23日周二 下午2:06写道：
> Hi Pinjie,
>
> 如果是需要 event triggered 的累計統計更新的話，可以考慮使用 SQL over aggregation
> [1]。例如文件中提供的如下範例，計算當前 row 往前一小時內的加總結果。
>
>
如果你是想每时每刻（实际上开销很大，假设是每 1 分钟），那就用 Sliding Window
Best,
tison.
tison 于2021年11月23日周二 下午2:00写道：
> 你的理解里就是必须整点对齐嘛，那其实是可以加个 offset 不整点对齐的捏。
>
> Best,
> tison.
>
>
> tison 于2021年11月23日周二 下午1:59写道：
>
>>
>> https://nightlies.apache.org/flink/flink-docs-release-1.
你的理解里就是必须整点对齐嘛，那其实是可以加个 offset 不整点对齐的捏。
Best,
tison.
tison 于2021年11月23日周二 下午1:59写道：
>
> https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/window-tvf/
>
> 你可以关注一下这里有个 offset 参数，这样就能用 tumbling window 了 =。=
>
> Best,
> tison.
>
>
>
https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/dev/table/sql/queries/window-tvf/
你可以关注一下这里有个 offset 参数，这样就能用 tumbling window 了 =。=
Best,
tison.
Pinjie Huang 于2021年11月23日周二 下午1:18写道：
> Hi Yidan,
>
> Tumbling window 只有
> t=0~1h
> t=1~2h
> 等等的window
>
>
rocksdb 增量 checkpoint 不是你这么理解的，总的不会恢复不了。原因可以参考下面的材料
-
https://flink.apache.org/features/2018/01/30/incremental-checkpointing.html
官方 blog 介绍
- https://www.bilibili.com/video/BV1db411e7x2 施博士的介绍，大概 24 分钟开始讲
Best,
tison.
casel.chen 于2021年5月27日周四 下午11:35写道：
> 作业中使用了增量式的rocksdb状态后端，请问如果再设置了最
这个配置本身我看了一下只能走 flink-conf.yaml，而且似乎是 per cluster 配置的，虽然 perjob /
application 部署的时候没啥问题，但是 session 可能就不行了。配置这块 Flink 是有点全走 flink-conf.yaml +
默认你是用 perjob / application 的意思。
你提的数据看不到的问题，首先确认一下是否 chk 真的有数据。另外我依稀记得 tangyun(in cc) 做过一个改动，可以问下他的看法。
Best,
tison.
tison 于2021年4月1日周四 下午3:50写道：
> 只有
只有一个的问题是因为默认保留的 chk 数量是一个，可以修改这个配置[1]来改变。
Best,
tison.
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#state-checkpoints-num-retained
lp <973182...@qq.com> 于2021年4月1日周四 下午3:48写道：
> 我写了一个带状态的function
> 采用了如下cp配置：
> env.enableChec
了，包括你页面嵌套页面，或者页面跳转页面，或者直接二开 Flink Web 模块，或者在完全自主开发的页面里调用 REST
API，等等。
Best,
tison.
Jacob <17691150...@163.com> 于2021年3月9日周二 上午9:42写道：
> 谢谢提供思路，刚通过接口编程这个思路找到了一些文章和demo。
>
>
>
> -
> Thanks!
> Jacob
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
可以中途产生，走这个接口
org.apache.flink.streaming.api.datastream.DataStream#assignTimestampsAndWatermarks(org.apache.flink.api.common.eventtime.WatermarkStrategy)
麻烦贴一下你加 watermark 的代码和 pipeline 看一下啥情况
Best,
tison.
Xavier 于2021年3月7日周日 下午7:51写道：
>想问下社区，watermark必须加在数据源上吗？顺便想问下一般用什么方式来调watermark
有的，通过 FLINK 和 YARN 或 k8s 的接口进行编程，管理元数据，管理用户文件，支持提交作业及之后管理作业状态，这是许多公司应用
Flink 的实现方式。
你说的前端的东西是对接口返回值的友好展示，Flink 本身有一个 Web 前端，可以支持你要的大部分功能，但是多任务可能会有一些缺陷，尤其你不是使用
session 模式的情况下。
向下整合 Flink 能力以及实际部署的集群信息，向上提供人性化的交互页面，按照传统的 Web App 开发思路就可以的。
Best,
tison.
Jacob <17691150...@163.com> 于2021年3月6
Hi Jacob,
能通过日志或监控判断是 checkpoint 时 snapshot 的 sync 阶段慢，还是 async 阶段慢，还是上传到 HDFS
时间长或是其他阶段的瓶颈吗？
几十 KB 的状态慢很可能是某个步骤出故障卡住了。
Best,
tison.
yidan zhao 于2021年3月2日周二 下午3:58写道：
> 我比较奇怪的是再慢的磁盘，对于几十KB的状态也不至于“慢”吧。
>
> Jacob <17691150...@163.com> 于2021年3月2日周二 上午10:34写道：
>
> > 谢谢回
目前想到的是加一个调度器插件，在重启事件那边 hook 一下。
正常的重启流程貌似没有其他 hook 点了，抄送一下这方面的专家(in cc)看看有没有其他意见。
Best,
tison.
熊云昆 于2021年2月5日周五 上午11:30写道：
>
> super.getRuntimeContext().getAttemptNumber()试试这个方法获取重启次数试试，如果没有重启过是0，反之每重启一次就会加1
>
>
> | |
> 熊云昆
> |
> |
> 邮箱：xiongyun...@163.com
> |
&
业务上的需求是什么？
Best,
tison.
op <520075...@qq.com> 于2021年2月4日周四 上午11:04写道：
> 大家好：
>
> 我在程序里通过RestartStrategies设置了重启策略，现在想在算子里面判断是否是触发了Restart，请问有哪些方法能实现呢？
org/apache/flink/yarn/YarnResourceManagerDriver.java:236
org/apache/flink/yarn/YarnClusterDescriptor.java:495
应该是会在作业退出或者强杀的时候清理的，你可以看一下对应版本有无这个逻辑
可以加一下日志看看实际是否触发，删除的是什么目录
Best,
tison.
Robin Zhang 于2021年2月2日周二 下午2:37写道：
> Flink 1.12下会将flink的依赖以及作业的jar包缓存在hdfs上，如下图：
>
> <
>
Context
里，Flink 没有开箱即用的基于 EventTime 的分桶策略，你需要自己尝试实现。比水印晚的数据，可以自行实现为丢弃或追加到原有分区文件上。
对于 SQL 可以查看这份资料
https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/connectors/filesystem.html
目前看起来开箱的逻辑迟到数据会追加而不是丢弃。有一些相关的配置可以调整 commit 也就是落盘的时机，但不影响落盘的数据。
Best,
tison.
amenhub 于2021年2月1日周一 上午11:07
请问你使用哪种 SinkConnector 写入 HDFS 呢？
Best,
tison.
amenhub 于2021年2月1日周一 上午10:58写道：
> >>>
> 2.如果我在SQL或StreamAPI中使用ForBoundedOutOfOrderness中基于事件时间设置允许5分钟延迟的水印，那么Kafka各分区最小时间的水印到达后，比水印晚的数据还会写入HDFS（基于事件时间分区）对应的分区中吗？是丢弃？还是不丢弃它写入对应分区后再重新幂等提交该分区？
> 另外还是比较想了解，当指定水印及延迟的时候，比水印晚的
取决于你的计算流图，watermark 通常只在以下情况有实际作用
True
& cond 1. 使用 EventTime
& cond 2. 流图中有 Timer 触发逻辑，例如 Window 算子或自定义 Timer
Best,
tison.
amenhub 于2021年2月1日周一 上午10:26写道：
> hi everyone,
>
> 最近在使用Stream API或Table API编写任务，接Kafka数据流写HDFS的时候，关于水印有几个问题想请教社区帮忙答疑。
>
> 在我的理解中，水印本意是容忍事件时间的延迟（
邮件列表不支持直接粘贴图片，请尝试使用附件或 gist 等方式共享。
Best,
tison.
hezongji...@qq.com 于2021年2月1日周一 上午9:28写道：
> 为什么每次打印的是上一条消息产生的watermark,不是最新的一条消息产生的watermark呢?并行度设置为1了
> 代码如下:
>
> 运行结果如下:
> --
> hezongji...@qq.com
>
又或者是反过来。
你可以尝试把 kafka connector 放到 /libs 里，自己应用打包里不带 kafka jar 也不带 kafka connector
jar，应该就可以不改配置。
Best,
tison.
tison 于2021年1月27日周三 下午2:47写道：
> 你是打包的时候自己打了 kafka 的依赖进去吗？看起来是应用里有一个 kafka 版本 A，接口
> org.apache.kafka.common.serialization.Serializer 用应用 classloader 加载，然后
> flink kafka con
你是打包的时候自己打了 kafka 的依赖进去吗？看起来是应用里有一个 kafka 版本 A，接口
org.apache.kafka.common.serialization.Serializer 用应用 classloader 加载，然后
flink kafka connector 用集群 classloader 加载，继承自集群 classloader 里的
org.apache.kafka.common.serialization.Serializer 导致这个问题。
Best,
tison.
lp <973182...@qq.com> 于2021年1月27日周
没明白你说的最近一次 checkpoint 被删除啥意思，你可以列一下 checkpoint 目录的内容，你觉得应该是啥，结果是啥。
Best,
tison.
Evan 于2021年1月14日周四 下午5:56写道：
> 代码图挂掉了，看不到代码
>
>
>
>
> 发件人： yinghua...@163.com
> 发送时间： 2021-01-14 17:26
> 收件人： user-zh
> 主题： 请教个Flink checkpoint的问题
>
> 我在yarn上提交任务时，设置fl
试试 mvn clean install -DskipTests -pl flink-runtime,flink-dist
Best,
tison.
penguin. 于2021年1月12日周二 下午9:44写道：
> Hi，
>
>
> 请问有人知道怎么单独编译flink-runtime模块吗？
> 然后这样是否能把更改的部分直接在flink-dist包中的org.apache.flink.runtime目录下进行替换？
> 整体编译一次实在太慢了。
> 谢谢！
>
>
> penguin
可以这么认为，大体上你可以认为每个并发有自己的环境。
技术上，算子对象是每个并发会实例化一个，而 static 变量的【共享】程度跟你设置的 slot per TM
值还有其他一些调度相关的参数有关，但是最好不要依赖这种实现层面的东西。
一种常见的误解是我创建一个 static HashMap 就神奇地拥有了全局的键值存储，这当然是不对的，只有在同一个 JVM 实例上也就是同一个 TM
上的任务才会看到同一个 HashMap 对象，而这几乎是不可控的。
可以看一下这篇文档[1]对物理部署的实际情况有一个基本的认知。
Best,
tison.
[1]
https
fo("Shutting {} down with application status {}. Diagnostics {}.",
...)
Best,
tison.
JasonLee <17610775...@163.com> 于2020年11月13日周五 上午11:22写道：
> hi
> 1,首先确定你提交的是per-job模式吗?
> 2,你说的任务状态是说jm还在任务在failover,还是任务确实是挂了,jm已经退出了?
>
>
>
>
> -
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
PerJob 模式下，在作业完全挂掉之后，是会上报 YARN RM 应用自己失败的状态的。
当然，在 FLINK 察觉自己 FAILED 到上报给 YARN 是有一定的时延的，也有可能因为网络等问题上报失败。
你这个是短暂的不一致时间窗口，还是说 FLINK 集群已经退了，YARN 的状态还没有变化呢？
Best,
tison.
zhisheng 于2020年11月12日周四 下午8:17写道：
> 同遇见过这个问题，所以作业监控告警的时候一般都是拿作业所有的 task 级别的状态，而不是简单的 yarn 状态
>
> hdxg1101300123 于20
Please send email with any content to -subscr...@flink.apache.org
for subscription.
For example, mailto:user-zh-subscr...@flink.apache.org to subscribe
user-zh@flink.apache.org
Best,
tison.
葛春法-18667112979 于2020年10月8日周四 下午8:45写道：
> I want to subscribe flink mail.
Please send email with any content to -subscr...@flink.apache.org
for subscription.
For example, mailto:user-zh-subscr...@flink.apache.org to subscribe
user...@flink.apache.org
Best,
tison.
葛春法-18667112979 于2020年10月8日周四 下午8:45写道：
> I want to subscribe flink mail.
故障点的意思是从开始跌的地方重新消费吗？如果是这样那就是有问题，可以看看之前输出变少是正确数据输出慢了还是有些没输出了，慢了就得看看当时的环境，应该还是会有什么网络或者负载有波动的，没有可能就要怀疑监控系统有问题了；少输出了就是错了，可能是依赖的外部环境不稳定等等。
Best,
tison.
tison 于2020年9月30日周三 下午5:33写道：
> 那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了...
>
> 照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 s
那有审计/监控的话看下每个节点的 in/out 记录呗，总能看到是哪一步跌了...
照你现在提供的信息听起来一切正常那就是业务逻辑本身输出少了，不然总得有哪里不一样。如果只有 sink 跌了，那就是 sink
有问题，比如可能依赖了外部环境或者内部积累错误等等。
Best,
tison.
Yang Peng 于2020年9月30日周三 下午5:26写道：
> 感谢回复，是的，之前确实怀疑是业务逻辑导致的
> 但是重启任务之后数据输出恢复了，而且让任务从故障点重新消费也没发现问题，我们这个任务已经跑了几个月了第一次遇到这种问题
>
> tison 于20
Thanks for your explanation. It would be fine if only checking leadership &
actually write information is atomic.
Best,
tison.
Yang Wang 于2020年9月30日周三 下午3:57写道：
> Thanks till and tison for your comments.
>
> @Till Rohrmann
> 1. I am afraid we could not do this if we are goin
代码里 env.execute("你的作业名")
Best,
tison.
丁浩浩 <18579099...@163.com> 于2020年9月30日周三 下午3:44写道：
> 如题，我需要设置flink提交到yarn的job name应该怎么设置呢？
sistency for extension.
Best,
tison.
[1]
https://lists.apache.org/x/thread.html/594b66ecb1d60b560a5c4c08ed1b2a67bc29143cb4e8d368da8c39b2@%3Cuser.zookeeper.apache.org%3E
Till Rohrmann 于2020年9月29日周二 下午9:25写道：
> For 1. I was wondering whether we can't write the leader connection
> information
Hi Yang,
你的意思是上游输出没变，全链路没有负载升高甚至反而降低，sink 输出变少么？
如果全链路没有异常也没有负载升高、流量阻塞，那感觉就是业务逻辑的实际结果，可以看看输入数据的内容有没有变化。
Best,
tison.
Yang Peng 于2020年9月30日周三 上午10:29写道：
> 感谢回复，我们看了consumer的lag很小
> 而且监控显示数据流入量也没明显变化但是感觉这部分数据只是offset被更新了但是数据没有消费到，这个问题之前没有遇到过 这是突发发现的
> 而且任务重启了没法jstack判断了
>
&
> 可是再次提交没有意义啊，没有数据[捂脸哭]
这个事儿是这样的，你用 checkpoint 之后呢没有反过来确认的 commit 会留在 state 里，所以重启的时候重新加载 state
的时候就会再提交一遍。然后向 kafka 这一类存储 commit offset 是幂等的，发现已经 commit 过就跳过就 OK 了。
Best,
tison.
蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年9月26日周六 下午4:01写道：
>
> 两阶段提交的第一阶段提交中，事务参与者反馈ok后需要作出之后一定
从日志看你的 scala 是 2.10 版本的，比较新版本的 flink 应该都只支持 2.11 和 2.12
Best,
tison.
Natasha <13631230...@163.com> 于2020年9月23日周三 下午4:00写道：
> Hi All,
> 很高兴加入Flink这个大家庭！但是有个问题困扰了我好久！
> 当我导入Flink到IDEA中准备进行编译，输入“mvn clean install -Drat.skip=true
> -Dmaven.test.skip=true -Dmaven
应该说 SQL 的 update 会在底层也 call 一次 env.execute
如果你配的是所谓的 detach 模式，是有这种可能的。这个是实现问题，你可以先贴一下代码，然后描述你要的行为，看下可以怎么写
Best,
tison.
Rui Li 于2020年8月28日周五 下午9:59写道：
> 作业代码是怎么写的啊？按说写SQL的话不需要执行Env.execute
>
> On Fri, Aug 28, 2020 at 9:41 AM air23 wrote:
>
> > 你好。我有一个接kafka 写入tidb的任务
那就要看下你是什么 Flink 版本，怎么提交到 YARN 上的，以及 YARN 的日志上的 classpath 是啥了
Best,
tison.
王松 于2020年7月13日周一 下午12:54写道：
> 各位好，写了个demo，代码如下，在本地跑没有问题，提交到yarn session上报错：
> Caused by: org.apache.flink.table.api.ValidationException: Could not find
> any factory for identifier 'kafka' that i
你这个需求貌似是要看一天的 UV 的实时更新量，可以看一下 sliding window。如果是每天 0 点清零，实时看今天的
UV，那就是另一个问题了，应该需要自己定义 trigger & evictor
每条触发一次 window...看你数据量吧
Best,
tison.
shizk233 于2020年7月10日周五 上午10:23写道：
> Hi Jiazhi,
>
>
> 1.如果数据流量不是很大的话，按每条数据触发也没问题。另外，基于事件时间的情况，提前触发可以选择ContinuousEventTimeTrigger，可以查看Tr
你看一下你的 chk 间隔，看起来是作业还没调度起来就开始 chk 所以失败。可能原因资源不足，调度不起来或者调度得慢，你 chk 间隔又小，就这样了。
如果是一直 chk 以这个方式失败，应该看下调度的日志为啥迟迟调不起来
Best,
tison.
Yichao Yang <1048262...@qq.com> 于2020年6月22日周一 上午10:57写道：
> Hi
>
>
> 看日志应该只是INFO，而不是错误，你的job是做不了checkpoint吗？
>
>
> Best,
> Yichao Yang
&g
>checkpoint的配置有什么要求吗？
配成 EXACTLY_ONCE
>还有就是kafka的事务提交多久能提交一次，可配置吗？
chk 的时候提交，这里面深究的话有点并发问题，可以看 TwoPhaseCommitSink 的细节
配置这个事儿...有能力自定义，但是为啥要这么做呢呢
Best,
tison.
蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年6月11日周四 下午4:59写道：
> checkpoint完成通知里提交的事务
>
>
>
&g
噢，那应该就是上面说的问题了
你的 Dispatcher 能被发现说明一开始选主和发布是 ok 的，你可以贴一下 HA
的配置，看看有没特别不靠谱的，然后去日志里找一下丢 leadership 的日志，一般来说前后会有一堆 zk 链接 ConnectionLoss 或者
SessionExpire 的日志
Best,
tison.
whirly 于2020年6月9日周二 下午9:23写道：
> Flink 1.8
>
>
>
>
> | |
> whirly
> |
> |
> 邮箱：whir...@163.com
&
此异常
如果稍后又选举成功，这里的异常应该是 fencing token mismatch 一类的
Best,
tison.
tison 于2020年6月9日周二 下午9:15写道：
> 啥 flink 版本啊？1.10 Dispatcher 魔改之后应该不会 null 的
>
> Best,
> tison.
>
>
> whirly 于2020年6月9日周二 下午8:58写道：
>
>> 大家好：
>> 环境一些作业出现下面异常，怀疑是Flink JobManager配置HA的问题，请
啥 flink 版本啊？1.10 Dispatcher 魔改之后应该不会 null 的
Best,
tison.
whirly 于2020年6月9日周二 下午8:58写道：
> 大家好：
> 环境一些作业出现下面异常，怀疑是Flink JobManager配置HA的问题，请问可能是什么问题？
>
>
> 异常信息：
> Internal server error.,
> side:\norg.apache.flink.runtime.rpc.exceptions.FencingTokenException:
>
请发送任意邮件到 user-zh-subscr...@flink.apache.org 订阅。
Best,
tison.
li wei 于2020年6月2日周二 下午7:36写道：
> 中文邮件列表
>
另外关于类加载的一般性文档，可以看下这个
https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/debugging_classloading.html
Best,
tison.
tison 于2020年5月29日周五 下午7:46写道：
> 这个原因应该是类加载的顺序问题，你配置一下 child-first 的类加载，如果是 perjob 1.10 上我记得是要指定某个配置。
>
> 参考这个文档
> https://ci.apache.org/projects/flin
这个原因应该是类加载的顺序问题，你配置一下 child-first 的类加载，如果是 perjob 1.10 上我记得是要指定某个配置。
参考这个文档
https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/yarn_setup.html#user-jars--classpath
Best,
tison.
Even <452232...@qq.com> 于2020年5月29日周五 下午6:48写道：
> 谢谢，请问需要怎
你运行的命令是啥？然后在哪个目录下运行的，和 flink 下载下来解压的目录是什么相对关系？
Best,
tison.
air23 于2020年5月29日周五 下午2:35写道：
> 代码就是flink自带的例子。
>
> public class WordCountStreamingByJava {
> public static void main(String[] args) throws Exception {
>
> // 创建执行环境
> StreamExe
然后你 execute 前后的代码片段甚至整个 main 如果可以的话通过 gist 贴一下（x）
Best,
tison.
tison 于2020年5月29日周五 下午2:21写道：
> 这个问题好诡异啊，一般来说编译会在 env.execute
> 的时候拦截，不应该真的调度起来才对。你能详细描述一下你提交作业的方法还有这个错误报在哪里吗（client?cluster?）？
>
> Best,
> tison.
>
>
> air23 于2020年5月29日周五 下午1:38写道：
>
>> cdh运行fli
Flink 的特点就是快（x）
Best,
tison.
宇张 于2020年5月28日周四 上午10:56写道：
> 感谢大佬们，我看到 Leonard Xu大佬已经关注了FLINK-17991
> <https://issues.apache.org/jira/browse/FLINK-17991>这个，好快的响应速度
>
> On Thu, May 28, 2020 at 10:25 AM Leonard Xu wrote:
>
> > Hi,
> > Yangze 贴了官方教程，也可以看下 Jar
你这个程序看起来不能通过 Web UI 提交。Flink 依赖内部异常在 Web UI 提交的路径里做编译。你这直接 Catch 了是拿不到作业图的。
你这个作业真的起来了吗？
具体提交的操作怎么样的，除了你要的 taskmanager.out 没有，有啥？
Best,
tison.
smq <374060...@qq.com> 于2020年5月27日周三 上午7:34写道：
> FlinkKafkaConsumer011 FlinkKafkaConsumer011<(topic, new SimpleStringSchema()
任意并行度全局状态从物理上就是不可行的，你可以了解一下分布式计算系统怎么部署物理作业的。“全局状态”要么依赖外部存储要么依赖实现（部署）细节。
你这个需求能不能自定义 KeyBy 细节（KeySelector）来实现？相关文档见
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/api_concepts.html#define-keys-using-key-selector-functions
Best,
tison.
star <3149768...@qq.com> 于2020年5月26日
最近刚好看到张俊老师的 Flink 分享 [1]，这个里面对你想了解的部分介绍得很详细，可以结合阅读（x）
Best,
tison.
[1] https://files.alicdn.com/tpsservice/73a1f1c404d2a658585cf4f4d86ef776.pdf
smq <374060...@qq.com> 于2020年5月24日周日 下午10:25写道：
> 恩恩，我是刚接触flink不久，所以很多地方没有很清楚，谢谢指点
>
>
> ---原始邮件---
> 发件人: tison 发送时间: 2020年5月
Could you try to download binary dist from flink download page and
re-execute the job? It seems like something wrong with flink-dist.jar.
BTW, please post user question on only user mailing list(not dev).
Best,
tison.
Guowei Ma 于2020年5月25日周一 上午10:49写道：
> Hi
> 1. You could check w
关于第一个问题，最好细化一下【各种问题】是什么问题。
关于第二个问题，我印象中目前 Flink 不支持按并发（SubTask）级别指定调度的位置，绕过方案可以是设置每个 TM 仅持有一个
Slot。这方面我抄送 Xintong，或许他的工作能帮到你。
Best,
tison.
xue...@outlook.com 于2020年5月25日周一 上午11:29写道：
> 遇到两个问题：
> 背景：flink v1.10集群，几十台主机，每台CPU 16，内存 50G，整个job的并发是200
> 比如我的一个RichMapFunction在ope
高老师的方案应该是比较 make sense 的，你从网络上去限制某个先到后到很麻烦，而且就算可以，也会涉及 Flink
网络层很底层的逻辑。通常来说希望【先到】的含义是【先处理】，那你把物理上先到的缓存起来后处理就可以了。
Best,
tison.
1048262223 <1048262...@qq.com> 于2020年5月24日周日 下午2:08写道：
> Hello，我的理解是这样的
> 广播流一般都是为了减少访问外部配置数据，提高性能来使用的，因此如果你是在这种场景下使用播流，我有一个在生产实践过的方法可供参考。
>
> 可以先在正常数
整体没啥问题，但是我看你说【假如第一个数据的事件时间刚好为12：00的，那么此时水位线应该在11：59】，这个 Watermark 跟
allowedLateness 没啥关系哈，是独立的逻辑。
文档层面你可以看看[1]，源码你可以看看[2]里面检索 allowedLateness
Best,
tison.
[1]
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/operators/windows.html#allowed-lateness
[2]
https://github.com/apache
是这样的。
这里的配置可以参考[1][2]两个类，具体你 Maven 启动的代码路径还跟[3][4]有关。
这边可能确实文档比较缺失。可以看下配置传递的路径，TM 的数量还有 RPC 的共享格式等配置，至少编程接口上都是可以配的。
Best,
tison.
[1]
https://github.com/apache/flink/blob/master/flink-runtime/src/main/java/org/apache/flink/runtime/minicluster/MiniCluster.java
[2]
https://github.com/apache/flink
这个我理解不在 Flink 的范畴里啊。你 savepoint 存到一个位置，然后外部挂一个同步器在主集群和容灾集群里同步（savepoint
目录）就可以吧。
Best,
tison.
zhisheng 于2020年5月17日周日 下午8:40写道：
> hi
>
> 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群）
> 是不是就可以解决你现在的问题，达到你想要的需求？
>
> Best
>
> zhisheng
>
> 请叫我雷锋
考虑把 SQL 贴成 gist 链接？
Best,
tison.
claylin <1012539...@qq.com> 于2020年5月17日周日 下午5:32写道：
> sql作业定义如下，也通过TableConfig设置了最大和最小idle
> time，但是运行很长时间，查看sst的目录flink-io-8a4ac39d-b8c3-4baa-bd08-a063e6e964e9下，状态还是在一直变打，导致作业线程读写state很耗时间，最后作业处于一直反压状态，求大佬支招CREATE
> TABLE yy_yapmnetwork_original
Hi,
你可以看一下官网这张经典的图[1][2]，snapshot 是按算子级别来看的，跟 source 不 source 没啥关系，全局的 chk 由 jm
上的 checkpoint coordinator 协调。
Best,
tison.
[1]
https://ci.apache.org/projects/flink/flink-docs-master/fig/stream_aligning.svg
[2]
https://ci.apache.org/projects/flink/flink-docs-master/concepts/stateful-stream
Hi Benchao,
我想搭车问一下这个代码生成是全局仅一次还是每个 call 都会走一遍流程？或者是其他策略。
Best,
tison.
Benchao Li 于2020年5月16日周六 下午9:50写道：
> Hi，
>
> Flink内置函数的实现方式跟udf不太一样，很多函数是直接用的代码生成来做的。
>
> 下面是以blink planner为例，大概说下流程：
> 1. FlinkSqlOperatorTable 这个类里面放的是内置函数表，这个表会被calcite parse
> SQL的时候用到，直接把这些函数识别为具
另外你 shaded 里面去 shaded com.ibm.icu 也意义不明...
Best,
tison.
tison 于2020年4月23日周四 下午3:34写道：
> 这个问题我建议你记一个 JIRA 然后提供一个可复现的程序。因为你如果是 Flink Standalone Session 模式，在 Client
> 端编译失败抛出如上异常，不应该跟放不放在 lib 下有什么关系。这边听你说感觉也很奇怪，可能需要本地复现一下比较好判断。
>
> Best,
> tison.
>
>
> 宇张 于2020年4月23日
这个问题我建议你记一个 JIRA 然后提供一个可复现的程序。因为你如果是 Flink Standalone Session 模式，在 Client
端编译失败抛出如上异常，不应该跟放不放在 lib 下有什么关系。这边听你说感觉也很奇怪，可能需要本地复现一下比较好判断。
Best,
tison.
宇张 于2020年4月23日周四 上午11:53写道：
> 你的意思是，UberJar 不放在 lib 里，在用户程序里通过线程上下文 ClassLoader 能加载到
> KafkaTableSourceSinkFactory
> 吗？（同时 class loadin
的 BUG
Best,
tison.
宇张 于2020年4月23日周四 上午11:36写道：
> 我尝试进行了添加，程序依然无法运行，异常信息和上面一致，下面是我的shade配置：
>
>
> org.apache.maven.plugins
> maven-shade-plugin
>
>
>
> package
>
To be precise, the cancel command would succeed on cluster side but the
response *might* lost so that client throws with TimeoutException. If it is
the case, this is the root which will be fixed in 1.10.1.
Best,
tison.
tison 于2020年4月23日周四 上午1:20写道：
> 'flink cancel' broken because of
>
'flink cancel' broken because of
https://issues.apache.org/jira/browse/FLINK-16626
Best,
tison.
Yun Tang 于2020年4月23日周四 上午1:18写道：
> Hi
>
> I think you could still use ./bin/flink cancel to cancel the job.
> What is the exception thrown?
>
&g
虽然你放到 lib 下就能行了听起来是个 BUG，能不能说明一下你的 Flink 版本还有具体的启动命令。
FLINK-13749 可能在早期版本上没有，另外 Standalone 的类加载如果是 PerJob 有更改过。
Best,
tison.
tison 于2020年4月22日周三 下午5:48写道：
> 看下你打包的 UberJar 里有没一个内容包括
>
> org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory
>
> 的文件
>
&
看下你打包的 UberJar 里有没一个内容包括
org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory
的文件
META-INF/services/org.apache.flink.table.factories.TableFactory
Best,
tison.
宇张 于2020年4月22日周三 下午5:30写道：
> 我这面使用Standalone模式运行Flink任务，但是Uber
> Jar里面的TableSourceFactory不能被加载
应该是有内置的 UDF FROM_UNIXTIME 可以用的
Best,
tison.
Leonard Xu 于2020年4月22日周三 下午1:15写道：
> Hi
> 报错是因为'format.ignore-parse-errors'
> 参数是在社区最新的版本才支持的，FLINK-16725在1.11应该也会修复，如果需要使用的话可以等1.11发布后使用或者自己编译master分支，
> 即使有了这个参数你的问题也无法解决，对你的case每行记录都会解析错误所以会过滤掉所有数据。
> 建议你可以在数据源就转为标准的json格式或者写个udf将
能具体看一下报错吗？一般来说 Flink 自己需要的依赖都会 shaded 起来，不需要的传递依赖都应该 exclude 掉。暴露成 API
的类别一般需要封装或者使用稳定的接口。
这可能是一个工程上的问题，你可以具体罗列一下遇到的 JAR 包冲突问题，看一下怎么解。
Best,
tison.
宇张 于2020年4月22日周三 上午11:52写道：
> 在使用Flink1.10时，遇到最多的问题就是jar包冲突问题，okio这个包flink-parent引用的就有四个版本，还有一些没办法<
> exclusions>的包，请问社区有没有优化jar包冲突的提议。
>
cc
Leonard Xu 于2020年4月21日周二 下午5:03写道：
> Hi,
> 订阅user-zh邮件邮件组即可收到该邮件组里的所有邮件，
> 可以发送任意内容的邮件到 user-zh-subscr...@flink.apache.org 订阅来自
> user-zh@flink.apache.org 邮件组的邮件
>
> 邮件组的订阅管理，可以参考[1]
>
> 祝好，
> Leonard Xu
> https://flink.apache.org/community.html#how-to-subscribe-to-a-mailing-list
>
> > 在
REST API jar run endpoint 不支持关联其他 jar 听起来是个问题。FatJar 是一种解决方案，这个可以提到 JIRA
上作为需求（x
Best,
tison.
Arnold Zai 于2020年4月21日周二 下午5:46写道：
> jarFiles参数不是个参数列表么，多传几个。
>
> 或把依赖提前部署到${FLINK_HOME}/plugins里
>
> chenxuying 于2020年4月21日周二 下午3:36写道：
>
> > 这
You can change flink-conf.yaml "jobmanager.address" or "jobmanager.port"
options before run the program or take a look at RemoteStreamEnvironment
which enables configuring host and port.
Best,
tison.
Som Lima 于2020年4月19日周日 下午5:58写道：
> Hi,
>
> After running
invokable 一般是 StreamTask 或者它的子类 StreamSourceTask，具体的 UDF 在 StreamTask
里，有几层包装。
MailBox 那些其实是一个简单的 EventLoop 实现，或者你理解为 Actor Model 的实现也行，可以参考这些名词的解释文章一一对应。
Best,
tison.
祝尚 <17626017...@163.com> 于2020年4月19日周日 下午5:43写道：
> Hi，all
> 在阅读1.10有关job执行过程相关源码时遇到一些疑问，我在看到Task#doRun()方法
> i
duce a number of config options and keys, which should
have been configured in few of common options and validated at the runtime.
Best,
tison.
Yang Wang 于2020年4月17日周五 下午11:42写道：
> Hi tison,
>
> For #3, if you mean registering remote HDFS file as local resource, we
> should make the
If you run a program using "flink run" in dist/bin, dependencies should be
taken care of.
Could you describe detailedly how you "start a flink program"? Did you
write an entrypoint, compile it and run by "java YouProgram"? If so, you
should configure class
Hi,
Could you share the stack traces?
Best,
tison.
forideal 于2020年4月18日周六 上午12:33写道：
> Hello friend
> I have two SQL, checkpoint fails all the time. One task is to open a
> sliding window for an hour, and then another task consumes the output data
> of the p
Hi Alexander,
What do you mean exactly? Could you describe it in pseudo code? I'm not
quite sure where Java-Time used in env.
Best,
tison.
Alexander Borgschulze 于2020年4月17日周五 下午9:21写道：
> Can I use Joda-Time instead of Java-Time and set it up in the
> StreamExecutionEnvironment?
>
r only remote libs. Is this clarification satisfy your proposal?
Best,
tison.
Till Rohrmann 于2020年4月17日周五 下午7:49写道：
> Hi Yang,
>
> from what I understand it sounds reasonable to me. Could you sync with
> Tison on FLINK-14964 on how to proceed. I'm not super deep into these
> is
Thanks for your inputs and sorry that I said Schema doesn't support
DataType to register a field because I was looking into Flink 1.9 codes...
Best,
tison.
Jark Wu 于2020年4月17日周五 下午2:42写道：
> Hi Tison,
>
> Migration from TypeInformation to DataType is a large work and will acro
. Schema in Table API currently support only TypeInformation to register a
field, shall we support
the DataType way as well?
Best,
tison.
从语义上说，已经有产生 Watermark 的逻辑了，如果 forward 此前的 watermark
在其他一些用户场景下或许也不合适。从另一个角度考虑你也可以把 watermark 带在 element
上，实现 AssignerWithPunctuatedWatermarks 的 Watermark
checkAndGetNextWatermark(T lastElement, long extractedTimestamp); 方法时从
element 取出来
Best,
tison.
tison 于2020年4月16日周四 下午10:36写道：
> 喔，
id 后创建 JIRA 单即可
Best,
tison.
taowang 于2020年4月16日周四 下午10:12写道：
> 感谢回复，但是很抱歉我试了一下发现不可以。
> 无论是使用了`AssignerWithPeriodicWatermarks`的`getCurrentWatermark`还是`AssignerWithPunctuatedWatermarks`的`checkAndGetNextWatermark`，当它们`return
> null`时下游算子拿到的水印都显示为`No
> Watermark
在 getCurrentWatermark 里返回 null 就行了，会 forward 此前的 watermark
的。另外语义上使用 AssignerWithPunctuatedWatermarks 会更合适一点。
Best,
tison.
taowang 于2020年4月16日周四 下午5:13写道：
> Hello,大家好：
> 在flink
> stream中我这里遇到一个需求是，想到对上一个算子输出的消息重新分配时间戳，但此时我不想重新分配水印。在从kafka读取消息时我已经添加了水印。
> 为了实现这个功能，我想有两种方法：
> 1.
注意环境变量和 fs.hdfs.hdfsdefault 要配置成 HDFS 路径或 YARN
集群已知的本地路径，不要配置成客户端的路径。因为实际起作用是在拉起 TM 的那台机器上解析拉取的。
Best,
tison.
Chief 于2020年4月15日周三 下午7:40写道：
> hi Yangze Guo
> 您说的环境变量已经在当前用户的环境变量文件里面设置了，您可以看看我的问题描述，现在如果checkpoint的路径设置不是namenode
> ha的nameservice就不会报错，checkpoint都正常。
>
>
>
>
Source 算子生产数据时附上的时间戳，你后面有
window/join，这个时间的间隔不是确定性的，大数据量下因为 GC 等原因有不同延迟从而导致 Window 划分不一致是正常的。即使使用
EventTime，在 Watermark
不够可靠的情况下也有可能不一致，足够可靠又可能受到滞后数据的影响损失性能并占用内存。可以看看上面文档的相关内容。
Best,
tison.
tison 于2020年4月15日周三 下午10:18写道：
> IngestionTime 多次运行结果不一样很正常啊，试试 event time？
>
> Best
IngestionTime 多次运行结果不一样很正常啊，试试 event time？
Best,
tison.
xuefli 于2020年4月15日周三 下午10:10写道：
> 遇到一个非常头痛的问题
>
> Flink1.10的集群，用hdfs做backend
>
> 一个流aStream准备了10亿的数据，另外一个流bStream百万
> 如果如下操作
>
> 我遇到一个问题 双流Join
> 带windows，使用IngressTime,在一个流的数据限制在几十万级别时，每次重算结果一致。但数据量换成10亿级别，另外
-yd 参数影响的是你是否使用 perjob 模式提交作业，简单地说
with -yd 以 perjob 模式提交作业，即启动一个新集群
without -yd 提交到一个现有的 Flink on YARN 集群
哪个是你的需求呢？有没有实现用 yarn-session 启动 Flink on YARN 集群呢？
Best,
tison.
guanyq 于2020年4月15日周三 上午8:46写道：
> 提交失败，本人测试与-yd参数有关系，这个参数去掉就可以提交了。但是不知道 -yd这个参数影响了什么？
> At 2020-04-14 15:31:00, &
1 - 100 of 187 matches
Mail list logo
