Re: 这绝对算是bug

退订 On Mon, Jul 1, 2024 at 10:22 PM wjw_bigd...@163.com wrote: > 退订 > > > > 回复的原邮件 > | 发件人 | Cuixb | > | 日期 | 2024年07月01日 22:16 | > | 收件人 | user-zh@flink.apache.org | > | 抄送至 | | > | 主题 | Re: 这绝对算是bug | > GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 &

回复：这绝对算是bug

退订 回复的原邮件 | 发件人 | Cuixb | | 日期 | 2024年07月01日 22:16 | | 收件人 | user-zh@flink.apache.org | | 抄送至 | | | 主题 | Re: 这绝对算是bug | GC不能说长，也绝对不短，大概计算了一下，24G内存，得有10秒左右无响应，多数在10秒内 发自我的 iPhone > 在 2024年7月1日，17:20，rui chen 写道： > > 建议检查一下JM的GC情况。 > > wjw_bigd...@163.com 于2024

Re: 这绝对算是bug

gt; | 日期 | 2024年07月01日 17:13 | >> | 收件人 | user-zh | >> | 抄送至 | | >> | 主题 | 回复：这绝对算是bug | >> 退订 >> >> >> >> 回复的原邮件 >> | 发件人 | 星海<2278179...@qq.com.INVALID> | >> | 日期 | 2024年06月29日 21:31

Re: 这绝对算是bug

建议检查一下JM的GC情况。 wjw_bigd...@163.com 于2024年7月1日周一 17:18写道： > 退订 > > > > 回复的原邮件 > | 发件人 | wjw_bigd...@163.com | > | 日期 | 2024年07月01日 17:13 | > | 收件人 | user-zh | > | 抄送至 | | > | 主题 | 回复：这绝对算是bug | > 退订 > > > > 回复的原邮件 > | 发件人 | 星海&l

????????????????bug

| ?? | wjw_bigd...@163.com | | | 2024??07??01?? 17:13 | | ?? | user-zh | | ?? | | | | bug | | ?? | <2278179...@qq.com.INVALID> | | | 2024??06??29?? 21:31 | | ?? | u

????????????????bug

| ?? | <2278179...@qq.com.INVALID> | | | 2024??06??29?? 21:31 | | ?? | user-zh | | ?? | | | | ?? ???

Re: 这绝对算是bug

turday, June 29, 2024 10:31 > To: user-zh@flink.apache.org > Subject: 这绝对算是bug > > 生产环境Flink 1.16.2 > > 2024-06-29 09:17:23 > java.lang.Exception: Job leader for job id 8ccdd299194a686e3ecda602c3c75bf3 > lost leadership. >at > org.apache.flink.runtime.task

Re: 这绝对算是bug

Hi，从报错看是 JM 丢主了，导致 TM 上 task 全部关停。看下 JM 侧是不是 HA 连接有问题呢？ Best, Zhanghao Chen From: Cuixb Sent: Saturday, June 29, 2024 10:31 To: user-zh@flink.apache.org Subject: 这绝对算是bug 生产环境Flink 1.16.2 2024-06-29 09:17:23 java.lang.Exception: Job leader for job id

这绝对算是bug

生产环境Flink 1.16.2 2024-06-29 09:17:23 java.lang.Exception: Job leader for job id 8ccdd299194a686e3ecda602c3c75bf3 lost leadership. at org.apache.flink.runtime.taskexecutor.TaskExecutor$JobLeaderListenerImpl.lambda$null$2(TaskExecutor.java:2310) at

Flink AsyncWriter如何进行固定速率的限速？这一块似乎有bug

Flink 1.16.0 搜索到社区有相关文章，其中的实例如下： https://flink.apache.org/2022/11/25/optimising-the-throughput-of-async-sinks-using-a-custom-ratelimitingstrategy/#rationale-behind-the-ratelimitingstrategy-interface public class TokenBucketRateLimitingStrategy implements RateLimitingStrategy {

Re:Re:RE: lock up表过滤条件下推导致的bug

> > > > > > > > >在 2023-12-25 20:46:36，"Jiabao Sun" 写道： >>Hi, >> >>邮件中的图片没显示出来，麻烦把 SQL 贴出来一下。 >> >>Best, >>Jiabao >> >> >>On 2023/12/25 12:22:41 杨光跃 wrote: >>> 我的sql如下： >>> 、 >>> >>> >>> t_purch_apply_sent_route 是通过flink cdc创建的 >>> t_purch_apply_sent_route_goods 是普通的jdbc >>> 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 >>> 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 >>> 这应该算是bug吧，或者要满足我的预期，该怎么写sql? >>> >>> >>> >>>

Re: RE: lock up表过滤条件下推导致的bug

wrote: > >> 我的sql如下： > >> 、 > >> > >> > >> t_purch_apply_sent_route 是通过flink cdc创建的 > >> t_purch_apply_sent_route_goods 是普通的jdbc > >> 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 > >> 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 > >> 这应该算是bug吧，或者要满足我的预期，该怎么写sql? > >> > >> > >> > >> -- Best, Benchao Li

Re:RE: lock up表过滤条件下推导致的bug

2:22:41 杨光跃 wrote: >> 我的sql如下： >> 、 >> >> >> t_purch_apply_sent_route 是通过flink cdc创建的 >> t_purch_apply_sent_route_goods 是普通的jdbc >> 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 >> 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 >> 这应该算是bug吧，或者要满足我的预期，该怎么写sql? >> >> >> >>

RE: lock up表过滤条件下推导致的bug

Hi, 邮件中的图片没显示出来，麻烦把 SQL 贴出来一下。 Best, Jiabao On 2023/12/25 12:22:41 杨光跃 wrote: > 我的sql如下： > 、 > > > t_purch_apply_sent_route 是通过flink cdc创建的 > t_purch_apply_sent_route_goods 是普通的jdbc > 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 > 这显然不符合我的预期，原因应该是因为过滤条件进

lock up表过滤条件下推导致的bug

我的sql如下： 、 t_purch_apply_sent_route 是通过flink cdc创建的 t_purch_apply_sent_route_goods 是普通的jdbc 我期望的结果是返回符合过滤条件的；但现在执行的结果，会返回t_purch_apply_sent_route表所有数据 这显然不符合我的预期，原因应该是因为过滤条件进行了过早的下推 这应该算是bug吧，或者要满足我的预期，该怎么写sql?

Re:疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

Hi, 验证了下，问题疑似出现在reduce函数中，复用了下wordCount1这个对象。我试了下new一个新的WordCount作为输出应该就可以了。 猜测这可能和基于Heap的state backend有关，多个窗口的heap state可能直接使用的是一个对象的地址。 ``` .reduce( (wordCount1, wordCount2) -> { WordCount newWC = new WordCount( wordCount1.word, wordCount1.count + wordCount2.count);

疑似BUG: 在滑动窗口中使用reduce()聚合时数据被多次处理

reduce()方法的状态在窗口间未被隔离,多个窗口聚合时使用的是同一对象.一个数据进入时,被重复累加 是reduce的特性吗? 还是reduce中的窗口间隔离出现问题? 希望得到回复 测试输入如下: 1001,/home,1000 1002,/home,2000 输出如下: input> test.Event(user=1001, page=/home, ts=1000) input> test.Event(user=1002, page=/home, ts=2000) test.WordCount(word=/home, count=2)

回复： 回复：报错显示为bug

好滴呀 谢谢各位老师 | | 小昌同学 | | ccc0606fight...@163.com | 回复的原邮件 | 发件人 | Shammon FY | | 发送日期 | 2023年5月16日 08:46 | | 收件人 | , | | 主题 | Re: 回复：报错显示为bug | Hi, 从错误上看应该是你作业里某个字符串字段被作为时间戳处理，导致作业codegen失败了。你的作业逻辑比较复杂，你可以排查一下跟时间相关的字段，检查一下字段类型处理是否正确，比如eventTime字段 Best, Shammon FY On Mon, May 15

Re: 回复：报错显示为bug

t; at > org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:679) > > at > org.apache.flink.runtime.scheduler.SchedulerNG.updateTaskExecutionState(SchedulerNG.java:79) > > at > org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutio

Re:回复：报错显示为bug

handleRpcMessage(AkkaRpcActor.java:217) > at > org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:78) > at > org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:163) > at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:24) > at akka.japi.pf.UnitCaseStat

回复：报错显示为bug

Wrapper.open(DataStructureConverterWrapper.java:46) at org.apache.flink.table.runtime.operators.source.InputConversionOperator.open(InputConversionOperator.java:76) at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.initializeStateAndOpenOperators(RegularOperatorChain.java:110) at org.apache.flink.streaming.runtime.tasks.Stre

Re:报错显示为bug

你好，可以把相关代码贴上来吗，方便大家进行分析。如果使用sql的话还可以把执行计划贴上来。 在 2023-05-15 17:11:42，"小昌同学" 写道： >各位老师，请教一下我在使用table API进行编程的时候，报错信息为”Caused by: >org.apache.flink.api.common.InvalidProgramException: Table program cannot be >compiled. This is a bug. Please file an issue. “ >

报错显示为bug

各位老师，请教一下我在使用table API进行编程的时候，报错信息为”Caused by: org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. “ flink使用版本为1.14，请问一下有相关社区的技术人员可以进行对接吗，还是怎么操作 | | 小昌同学 | | ccc0606fight...@163.com |

Re:Re: Re: 我上报的一个sql bug没人处理怎么办？

果你知道问题出现在哪儿, 可以自己提个 PR 哦. >> > >> >Sincerely, >> >Shuo >> > >> >On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote: >> > >> >> 复制执行我提供的两个sql就一定会复现！ >> >> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 >> >> 这个问题是这个版本calcite引起的。 >> >> >> >> >> >> >>

Re:Re: Re: 我上报的一个sql bug没人处理怎么办？

> > >> > >Sincerely, >> > >Shuo >> > > >> > >On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote: >> > > >> > >> 复制执行我提供的两个sql就一定会复现！ >> > >> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 >> &g

Re: Re: 我上报的一个sql bug没人处理怎么办？

道问题出现在哪儿, 可以自己提个 PR 哦. > > > > > >Sincerely, > > >Shuo > > > > > >On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote: > > > > > >> 复制执行我提供的两个sql就一定会复现！ > > >> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 > > &g

Re: Re: 我上报的一个sql bug没人处理怎么办？

可以自己提个 PR 哦. > > > >Sincerely, > >Shuo > > > >On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote: > > > >> 复制执行我提供的两个sql就一定会复现！ > >> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 > >> 这个问题是这个版本calcite引起的。 > >> > >> > >> >

Re:Re: 我上报的一个sql bug没人处理怎么办？

sql就一定会复现！ >> 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 >> 这个问题是这个版本calcite引起的。 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> 在 2023-03-22 09:28:17，"Jeff" 写道

Re: 我上报的一个sql bug没人处理怎么办？

Hi, 这是 Calcite 的一个 bug[1], 已经在 1.27.0 上修复. 不过由于 Flink 1.15.1, 1.15.2 和 1.16.1 都依赖 Calcite 1.26.0, 所以目前只能尝试如下方式绕过, 可以等 release-1.17 发布后升级到新版本上, 应该不会再有问题了. select * from (values(case when true then map['test','123456789'] else map ['msg_code','0', 'msg_reason', cast('abc' as string)] end)); [1

Re: 我上报的一个sql bug没人处理怎么办？

; >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > >> > 在 2023-03-22 09:28:17，"Jeff" 写道： >> > >

Re: 我上报的一个sql bug没人处理怎么办？

flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 > > 这个问题是这个版本calcite引起的。 > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > > 在 2023-03-22 09:28:17，"Jeff" 写道： >

Re: 我上报的一个sql bug没人处理怎么办？

Hi, 如果你知道问题出现在哪儿, 可以自己提个 PR 哦. Sincerely, Shuo On Wed, Mar 22, 2023 at 11:23 AM Jeff wrote: > 复制执行我提供的两个sql就一定会复现！ > 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 > 这个问题是这个版本calcite引起的。 > > > > > > > > > > > > > > > > > > 在 2023-03

Re:我上报的一个sql bug没人处理怎么办？

复制执行我提供的两个sql就一定会复现！ 不管哪个flink版本一定都会有这个问题，因为它们都是使用calcite 1.26.0。 这个问题是这个版本calcite引起的。 在 2023-03-22 09:28:17，"Jeff" 写道： >bug地址： >https://issues.apache.org/jira/browse/FLINK-31375?filter=-2 > > >bug详细内容： >the values of map are truncated by the CASE WH

Re: 我上报的一个sql bug没人处理怎么办？

Hi 我使用同样的 SQL 没有复现该问题，你可以提供下复现的办法吗？ Best, Weihua On Wed, Mar 22, 2023 at 10:28 AM Jeff wrote: > bug地址： > https://issues.apache.org/jira/browse/FLINK-31375?filter=-2 > > > bug详细内容： > the values of map are truncated by the CASE WHEN function. > // sql >

我上报的一个sql bug没人处理怎么办？

bug地址： https://issues.apache.org/jira/browse/FLINK-31375?filter=-2 bug详细内容： the values of map are truncated by the CASE WHEN function. // sql create table test (a map) with ('connector'='print'); insert into test select * from (values(case when true then map['test','123456789'] else map

Re: flink1.14.5报错提示 “无法编译表程序。这是一个bug。请提交一个问题。”

提供一下你的作业的SQL？详细一点的上下文 > -原始邮件- > 发件人: "junjie.m...@goupwith.com" > 发送时间: 2022-11-02 15:21:39 (星期三) > 收件人: user-zh > 抄送: > 主题: flink1.14.5报错提示 “无法编译表程序。这是一个bug。请提交一个问题。” > > flink1.14.5遇到一个很奇怪的报错，报错提示 “无法编译表程序。这是一个bug。请提交一个问题。” > 报错信息如下： > /

Re:Client启动有异常： SQL Client must stop. Unexpected exception. This is a bug. Please consider filing an issue.

>org.apache.flink.table.client.gateway.context.DefaultContext [] - Executor >config: {execution.savepoint.ignore-unclaimed-state=false, >execution.attached=true, execution.shutdown-on-attached-exit=false, >pipeline.jars=[f

Re:Client启动有异常： SQL Client must stop. Unexpected exception. This is a bug. Please consider filing an issue.

g.entries.ExecutionEntry [] - Property >'execution.restart-strategy.type' not specified. Using default value: fallback >2022-08-12 10:19:33,671 INFO >org.apache.flink.table.client.gateway.context.DefaultContext [] - Executor >config: {execution.savepoint.ignore-unclaimed-state=false, >executi

Client启动有异常： SQL Client must stop. Unexpected exception. This is a bug. Please consider filing an issue.

/opt/flink-sql-client_2.12-1.13.3.jar], pipeline.classpaths=[], execution.target=remote} 2022-08-12 10:19:34,442 ERROR org.apache.flink.table.client.SqlClient [] - SQL Client must stop. Unexpected exception. This is a bug. Please consider filing an issue

Re: 1.13.5版本sql大小64k限制bug

_ > > > From: Lose control .／ <286296...@qq.com.INVALID> > > > Sent: Tuesday, May 24, 2022 9:15 > > > To: dev > > > Subject: 1.13.5版本sql大小64k限制bug > > > > > > 请问各位大神，1.13.5版本sql大小64k限制如何修改啊？谢谢 > > >

Re: 1.13.5版本sql大小64k限制bug

用英文在dev社区发送邮件。另外关于使用方面的问题，建议向user-zh 频道发送，已经帮你转发到相关邮件列表了。 > > > > > > 祝好 > > 唐云 > > > > From: Lose control .／ <286296...@qq.com.INVALID> > > Sent: Tuesday, May 24, 2022 9:15 > > To: dev > > Subject: 1.13.5版本sql大小64k限制bug > > > > 请问各位大神，1.13.5版本sql大小64k限制如何修改啊？谢谢 >

Re: 1.13.5版本sql大小64k限制bug

Hi 请使用英文在dev社区发送邮件。另外关于使用方面的问题，建议向user-zh 频道发送，已经帮你转发到相关邮件列表了。 祝好 唐云 From: Lose control .／ <286296...@qq.com.INVALID> Sent: Tuesday, May 24, 2022 9:15 To: dev Subject: 1.13.5版本sql大小64k限制bug 请问各位大神，1.13.5版本sql大小64k限制如何修改啊？谢谢

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

有人知道这个bug吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

试了 1.12.2，还是一样问题。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

但是看情况好像是只有在：DataStream发生Keyby或者 setParallelism的时候才会发生 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

1.12.1 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

你好， 你的flink版本是多少？ 之前有个bug是Table转datastream 会丢rowtime问题，看起来是这个问题。 我在[1]里修复了，你可以升级对应的版本试下。 祝好， Leonard [1]https://issues.apache.org/jira/browse/FLINK-21013 <https://issues.apache.org/jira/browse/FLINK-21013> > 在 2021年3月10日，14:34，HunterXHunter <1356469...@qq.com> 写道： > &

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

再试了一下： 修改并行度也不行 .setParallelism(9) -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: BUG ：DataStream 转 Table 后无法 触发窗口计算

经过再一次验证： 即使我做group by rowtime的操作， 我对datastream做keyby(rowtime) 也有这个问题 例如： tableEnv.createTemporaryView("test3", tableEnv.sqlQuery("select msg,rowtime from test ")); SingleOutputStreamOperator r = tableEnv.toRetractStream(tableEnv.from("test3"), Row.class) .filter(x -> x.f0) .keyby(_.f1)

BUG ：DataStream 转 Table 后无法 触发窗口计算

;select msg,rowtime from test group by msg,rowtime")); 语句改为 tableEnv.createTemporaryView("test3", tableEnv.sqlQuery("select msg,rowtime from test")); 结果就是正确的。 所以这是一个bug吗？？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.10.1 merge??????????scala??????????????????flink??bug??

??flink??bug?? def merge(accumulator: ListBuffer[Float], its: java.lang.Iterable[ListBuffer[Float]]): Unit = { //its.forEach(i = accumulator ++ i) val iter = its.iterator() while (iter.hasNext) { val a = iter.next() accumulator ++ a } }

Re: flink sql 1.11.1 貌似出现bug

RE nginx_id = 'sz-itsp' AND nginx_id IS NOT NULL > GROUP BY TUMBLE(rt, INTERVAL '5' MINUTE), request > ; > > > sql client使用中出现如下报错： > Exception in thread "main" > org.apache.flink.t

flink sql 1.11.1 貌似出现bug

) AS window_end FROM sls_log_sz_itsp WHERE nginx_id = 'sz-itsp' AND nginx_id IS NOT NULL GROUP BY TUMBLE(rt, INTERVAL '5' MINUTE), request ; sql client使用中出现如下报错： Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consi

flink sql 1.11.1 貌似出现bug

) AS window_end FROM sls_log_sz_itsp WHERE nginx_id = 'sz-itsp' AND nginx_id IS NOT NULL GROUP BY TUMBLE(rt, INTERVAL '5' MINUTE), request ; sql client使用中出现如下报错： Exception in thread "main" org.apache.flink.table.client.SqlClientException: Unexpected exception. This is a bug. Please consi

??????flink sql hive streaming??????????????????bug

??hive table read blinkStreamTableEnv.getConfig().getConfiguration().setBoolean("table.dynamic-table-options.enabled", true); Table table=blinkStreamTableEnv.sqlQuery("SELECT * FROM test.table_config /*+ OPTIONS('streaming-source.enable'='true','streaming-source.monitor-interval'

flink sql hive streaming??????????????????bug

??1.11.2 ??java.lang.IllegalArgumentException: TheContinuousFileMonitoringFunctionhas already restored froma previous Flinkversion. at org.apache.flink.streaming.api.functions.source.ContinuousFileMonitoringFunction.initializeState(ContinuousFileMonitoringFunction.java:176) at

flink sql hive streaming??????????????????bug

??1.11.2 ??java.lang.IllegalArgumentException:TheContinuousFileMonitoringFunctionhas already restoredfroma previousFlinkversion. at org.apache.flink.streaming.api.functions.source.ContinuousFileMonitoringFunction.initializeState(ContinuousFileMonitoringFunction.java:176) at

flink sql hive streaming??????????????????bug

??1.11.2 ??java.lang.IllegalArgumentException: The ContinuousFileMonitoringFunction has already restored from a previous Flink version. at org.apache.flink.streaming.api.functions.source.ContinuousFileMonitoringFunction.initializeState(ContinuousFileMonitoringFunction.java:176) at

回复: Flink1.11.0 sql org.apache.flink.connector.jdbc.dialect.MySQLDialect发现疑似bug

嗯，应该是没问题的，我理解错了，谢谢指正。 发件人: 史 正超 发送时间: 2020年11月5日 19:30 收件人: user-zh@flink.apache.org 主题: 回复: Flink1.11.0 sql org.apache.flink.connector.jdbc.dialect.MySQLDialect发现疑似bug 应该是没有问题的， 首先你在flink sql中指定的primary key 应该要与mysql中的唯一索引或者主键对应。 其次那个方法里组装出来的语句 类似下面的语句: INSERT

回复: Flink1.11.0 sql org.apache.flink.connector.jdbc.dialect.MySQLDialect发现疑似bug

。所以无需指定uniqueKeyFields的 发件人: wind.fly@outlook.com 发送时间: 2020年11月5日 10:58 收件人: user-zh@flink.apache.org 主题: Flink1.11.0 sql org.apache.flink.connector.jdbc.dialect.MySQLDialect发现疑似bug Hi，all： 近日因为用到JdbcDynamicTableSink，发现往mysql插入数据时没有按我指定的primary key更新数

Flink1.11.0 sql org.apache.flink.connector.jdbc.dialect.MySQLDialect发现疑似bug

Hi，all： 近日因为用到JdbcDynamicTableSink，发现往mysql插入数据时没有按我指定的primary key更新数据，无意间追踪到org.apache.flink.connector.jdbc.dialect.MySQLDialect类中getUpsertStatement方法： /** * Mysql upsert query use DUPLICATE KEY UPDATE. * * NOTE: It requires Mysql's primary key to be consistent with pkFields. * * We

flink cdc读取mysql，执行sql业务逻辑， sink到mysql的bug

大佬您好，mysql cdc 修改源表的数据，sink到目标表记录为空，但是再修改一次之后，目标表就有数据了。 例如： insert into student_info select a.id, a.name, b.name from a(id, name) left join b(id, class) 原始数据 a id name 1 xm b id class 1 1班 所以 student_info 有一条数据 1, xm, 1班 此时 a表的name修改为 -> xh student_info 的数据就变成 null, null, null

Re: 【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

是的，新的DynamicTable在开发中。table api下不能绑定物理类型的情况，导致了一些类型兼容问题，现在有了解决的方案。 赵建云 2020年8月20日 2020年8月20日 下午2:27，Jingsong Li mailto:jingsongl...@gmail.com>> 写道： 1.11 就用新的source sink接口吧 On Wed, Aug 19, 2020 at 12:43 AM 赵 建云 mailto:zhaojianyu...@outlook.com>> wrote: 补充图片链接 创建连接器

Re: 【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

1.11 就用新的source sink接口吧 On Wed, Aug 19, 2020 at 12:43 AM 赵 建云 wrote: > 补充图片链接 > 创建连接器 > http://image.zhaojianyun.com/mweb/bug1.png > TableSourceSinkFactory中的创建sink > http://image.zhaojianyun.com/mweb/bug2.png > TableSchema的运行时物理信息 > http://image.zhaojianyun.com/mweb/bug3.png > > > > 2020年8月18日

Re: 【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

补充图片链接 创建连接器 http://image.zhaojianyun.com/mweb/bug1.png TableSourceSinkFactory中的创建sink http://image.zhaojianyun.com/mweb/bug2.png TableSchema的运行时物理信息 http://image.zhaojianyun.com/mweb/bug3.png 2020年8月18日 下午10:09，赵 建云 mailto:zhaojianyu...@outlook.com>> 写道： hello all: 我在为flink

【bug】flink 1.11使用连接器时schema丢失DataType指定的物理信息

hello all: 我在为flink 1.11开发新的连接器时，发现了问题。 连接器的旧版本是支持flink1.9的，最近升级了flink 1.11后，test中，发现创建连接器需要声明schema，schema需要使用TableSchema信息，TableSchema包含的DataType，DataType指定物理类型后，在TableSourceSinkFactory中，获得的schema中，丢失了前面指定的物理类型。 这个问题影响了source、sink。导致了启动时，检查类型不能通过。 例如

Re: flink sql client：cdc 至elasticsearch 有问题（版本1.11.0）,提交任务成功，但web dashbord上却看不到任务！求看是不是bug?还是我配置有问题？

Hello 1. 使用CDC功能的话请用1.11.1，该版本修复了一个CDC的bug[1] 2. 另外你这个异常栈是没有找到对应的 connector jar，确认下用的是 flink-sql-connector-elasticsearch6_2.11-1.11.0 这个jar. 祝好 Leonard [1] https://issues.apache.org/jira/browse/FLINK-18461 <https://issues.apache.org/jira/browse/FLINK-18461> > 在 2020年8月12日，13:31，

flink sql client：cdc 至elasticsearch 有问题（版本1.11.0）,提交任务成功，但web dashbord上却看不到任务！求看是不是bug?还是我配置有问题？

建表如下： CREATE TABLE test ( `id` INT, `name` VARCHAR(255), `time` TIMESTAMP(3), `status` INT, PRIMARY KEY(id) NOT ENFORCED ) WITH ( 'connector'='kafka', 'topic'='test', 'properties.group.id'='c_mysql_binlog_es', 'properties.bootstrap.servers'='localhost:9092',

[BUG] ColumnFamilyHandle*, _jbyteArray*, int, int)+0xce[thread 140474763392768 also had an error]

read 140474733946624 also had an error] 36. [thread 140474732893952 also had an error] 37. [thread 140474731841280 also had an error] 38. # 39. # If you would like to submit a bug report, please visit: 40. # http://bugreport.java.com/bugreport/crash.jsp 41. # The crash happened out

回复：Flink1.11-release编译部署后sql-client的bug

好的,感谢 -- 发件人：godfrey he 发送时间：2020年6月2日(星期二) 12:32 收件人：user-zh 抄　送：夏帅 主　题：Re: Flink1.11-release编译部署后sql-client的bug Hi， 夏帅 感谢反馈问题，我建了一个issue https://issues.apache.org/jira/browse/FLINK-18055，应该今天就可以fix Best, Godfrey Leonard Xu

Re: Flink1.11-release编译部署后sql-client的bug

Hi， 夏帅 感谢反馈问题，我建了一个issue https://issues.apache.org/jira/browse/FLINK-18055 ，应该今天就可以fix Best, Godfrey Leonard Xu 于2020年6月2日周二 下午12:13写道： > Hi， 夏帅 > > 感谢反馈，这应该是个bug，我 这边本地也复现了，我先看下哈 > > 祝好， > Leonard Xu > > > 在 2020年6月2日，11:57，夏帅 写道： > > > > 是我编译的问题么,在window下编译的 > >

Re: Flink1.11-release编译部署后sql-client的bug

Hi， 夏帅 感谢反馈，这应该是个bug，我 这边本地也复现了，我先看下哈 祝好， Leonard Xu > 在 2020年6月2日，11:57，夏帅 写道： > > 是我编译的问题么,在window下编译的

Flink1.11-release编译部署后sql-client的bug

大家好,有人编译部署过flink-1.11-release么,为什么我使用sql-client时设置了catalog 但是并不生效,顺带自动补全也不太好使 是我编译的问题么,在window下编译的 编译步骤见链接 https://jxeditor.github.io/2020/06/01/Flink1.11.0%E7%BC%96%E8%AF%91/ $ mvn -version Apache Maven 3.5.4 (1edded0938998edf8bf061f1ceb3cfdeccf443fe; 2018-06-18T02:33:14+08:00) Flink SQL> show

Re: Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

可以去提个 Issue 111 于2020年5月15日周五 下午5:19写道： > Hi， > > > 今天再升级Flink1.10.0到Flink1.10.1时，发现我们搭建的开发系统在使用YarnSession模式时无法正常工作，目前的架构是： > > > [自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn] > > > 跟踪代码发现，sql-gateway在启动时，需要调用CliFronted的loadCustomCommandLines来解析命令行参数。 > > >

Re: Flink-SQL on yarn 的bug

这个应该不是 bug，如果用代码写，在定义了事件时间的时候，也是要加水印的，否则无法触发窗口的 trigger guaishushu1...@163.com 于2020年5月15日周五 下午5:36写道： > insert into t_report_realtime_fangxin2_order1 > > SELECT date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND),'-MM-dd') as > summary_date, > date_format(TUMBLE_END(w_t

Flink-SQL on yarn 的bug

insert into t_report_realtime_fangxin2_order1 SELECT date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND),'-MM-dd') as summary_date, date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND), '-MM-dd hh') as summary_hour, date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND), '-MM-dd hh:mm') as

Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

Hi， 今天再升级Flink1.10.0到Flink1.10.1时，发现我们搭建的开发系统在使用YarnSession模式时无法正常工作，目前的架构是： [自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn] 跟踪代码发现，sql-gateway在启动时，需要调用CliFronted的loadCustomCommandLines来解析命令行参数。 在1.10.0版本中，命令行的顺序是：FlinkYarnSessionCLI, ExecutorCLI, DefaultCLI

Re: JDBC Sink参数connector.write.max-retries 在Oracle中的bug

Hi, xinghalo 这是jdbc sink 的AppenOnlyWriter的一个已知bug，在1.10.1里已经修复[1]，社区近期在准备1.10.1的发布， 建议等1.10.1发布后升级即可。 Best, Leonard [1]https://issues.apache.org/jira/browse/FLINK-16281 <https://issues.apache.org/jira/browse/FLINK-16281> > 在 2020年3月24日，18:32，111 写道： > > Hi, > 在使用jdbc sink时，

JDBC Sink参数connector.write.max-retries 在Oracle中的bug

Hi, 在使用jdbc sink时，底层使用oracle驱动会出现bug。 出现的现象：当max-retries参数设置为1时，任务能正常报错；当max-retries参数大于1时，虽然程序内部报错，但是任务总是正常结束。 在JDBCUpsertOutputFormat.java中的flush()方法中，设计了重试机制： public synchronized void flush() throws Exception { checkFlushException(); for (int i = 1; i <= maxRetryTimes; i++) {

Re: 疑似ParquetTableSource Filter Pushdown bug

已经创建issue: https://issues.apache.org/jira/browse/FLINK-15563 Kurt Young 于2020年1月8日周三 下午5:33写道： > 如果是优化器一直卡住不能退出，那基本肯定是BUG了。请开一个issue把这些信息上传上去吧，我们会调查一下是什么问题导致的。 > > Best, > Kurt > > > On Wed, Jan 8, 2020 at 5:12 PM jun su wrote: > > > 添加代码文字: > > >

Re: 疑似ParquetTableSource Filter Pushdown bug

如果是优化器一直卡住不能退出，那基本肯定是BUG了。请开一个issue把这些信息上传上去吧，我们会调查一下是什么问题导致的。 Best, Kurt On Wed, Jan 8, 2020 at 5:12 PM jun su wrote: > 添加代码文字: > > def main(args: Array[String]): Unit = { > > val env = StreamExecutionEnvironment.getExecutionEnvironment > env.setStream

Re: 疑似ParquetTableSource Filter Pushdown bug

;:\"device\",\"type\":[\"null\",\"string\"],\"default\":null},{\"name\":\"timestamp_string\",\"type\":[\"null\",\"string\"],\"default\":null},{\"name\":\"occur_time\",\"type\":[

[Blink]Cep SQL code generator bug

Hi 当CEP SQL Pattern中出现aggregate 操作 并且SQL code generator 没有split 情况下 code generator 会出现问题 TableConfigOptions.SQL_CODEGEN_LENGTH_MAX 设置为默认 即48 * 1024 SQL Example SELECT * FROM source MATCH_RECOGNIZE ( PARTITION BY userId ORDER BY proctime MEASURES ...