Re: 回复:报错显示为bug

2023-05-15 文章 Shammon FY
Hi, 从错误上看应该是你作业里某个字符串字段被作为时间戳处理,导致作业codegen失败了。你的作业逻辑比较复杂,你可以排查一下跟时间相关的字段,检查一下字段类型处理是否正确,比如eventTime字段 Best, Shammon FY On Mon, May 15, 2023 at 7:29 PM lxk wrote: > 你好,从报错来看是类型不兼容导致的。 > Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column > 103: Cannot cast "java.lang.Str

Re:Re: Flink提交作业是否可以跳过上传作业jar包这一步?

2023-05-15 文章 casel.chen
Application Mode没有这个问题,现在是Session Mode提交作业会遇到这个问题 ./bin/flink run -m localhost:8081 ./examples/streaming/TopSpeedWindowing.jar 后面这个作业TopSpeedWindowing.jar包可以使用hdfs/oss路径指定吗?如果是分布式文件路径的话是不是就不用上传作业jar包到jobManager了,而是由jobManager自行下载? 在 2023-05-15 19:27:21,"shimin huang" 写道: >可以考虑基于flink-kube

Re:回复:报错显示为bug

2023-05-15 文章 lxk
你好,从报错来看是类型不兼容导致的。 Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column 103: Cannot cast "java.lang.String" to "java.time.LocalDateTime" 可以尝试对表结构进行优化,或者使用相关函数对字段类型进行转换 At 2023-05-15 18:29:15, "小昌同学" wrote: >| >package job; >import bean.BaseInfo; >import be

Re: Flink提交作业是否可以跳过上传作业jar包这一步?

2023-05-15 文章 shimin huang
可以考虑基于flink-kubernetes依赖下的KubernetesClusterDescriptor来启动任务,可以参考https://github.com/collabH/flink-deployer/blob/main/infrastructure/src/main/java/com/flink/plugins/inf/deployer/KubernetesClusterDeployer.java > 2023年5月15日 19:21,casel.chen 写道: > > 我们开发了一个实时计算平台提交flink > sql作业到k8s上运行,发现每次提交作业都需要上传

Flink提交作业是否可以跳过上传作业jar包这一步?

2023-05-15 文章 casel.chen
我们开发了一个实时计算平台提交flink sql作业到k8s上运行,发现每次提交作业都需要上传平台sql作业jar包flinksql.jar,因为这个jar包包含了平台用到的所有connector和format,所以flinksql.jar这个fat jar有几百MB,又因为平台所在的k8s集群和作业真正运行的k8s集群是不同的,某些集群的跨k8s离群网络传输开销(跨地区甚至跨云厂商)比较大,而且这个flinksql.jar我们已经放到了k8s镜像当中,jobManager加载镜像后是可以在本地找到该jar的,所以想问一下Flink提交作业是否可以跳过上传作业jar包这一步?有没有参数

StreamTable Environment initialized failed -- "Could not find any factories that implement 'org.apache.flink.table.delegation.ExecutorFactory' in the classpath"

2023-05-15 文章 krislee
Hi  ALL, OS:   CentOS 7.9 Flink version:  1.16.0 It looks like  I'm hitting a  notorious exception which had been discoverd since earlier fink version.  The issue was triggered when below java code executed:    StreamTableEnvironment tEnv = StreamTableEnvironment.create(env); More detaile

回复:报错显示为bug

2023-05-15 文章 小昌同学
| package job; import bean.BaseInfo; import bean.MidInfo; import bean.OutInfo; import bean.ResultInfo; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import config.FlinkConfig; import function.MyProcessFunction; import org.apache.flink.api.common.functions.MapFunction; im

Re:报错显示为bug

2023-05-15 文章 lxk
你好,可以把相关代码贴上来吗,方便大家进行分析。如果使用sql的话还可以把执行计划贴上来。 在 2023-05-15 17:11:42,"小昌同学" 写道: >各位老师,请教一下我在使用table API进行编程的时候,报错信息为”Caused by: >org.apache.flink.api.common.InvalidProgramException: Table program cannot be >compiled. This is a bug. Please file an issue. “ >flink使用版本为1.14,请问一下有相关社

报错显示为bug

2023-05-15 文章 小昌同学
各位老师,请教一下我在使用table API进行编程的时候,报错信息为”Caused by: org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. “ flink使用版本为1.14,请问一下有相关社区的技术人员可以进行对接吗,还是怎么操作 | | 小昌同学 | | ccc0606fight...@163.com |

Re:Re: Re: Flink广播流状态清理策略不生效

2023-05-15 文章 lxk
好的,感谢 在 2023-05-15 15:49:12,"Hangxiang Yu" 写道: >Hi, 可以参考这个 Ticket ,就是讨论要给 Broadcast State 加 TTL 的,当时应该没有继续深入讨论: >https://issues.apache.org/jira/browse/FLINK-13721 >方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗?也可以在 Ticket 下 Vote for this issue. >我这边也会帮忙一起看下 > >On Mon, May 15, 2023 at 1:41 

Re: Re: Flink广播流状态清理策略不生效

2023-05-15 文章 Hangxiang Yu
Hi, 可以参考这个 Ticket ,就是讨论要给 Broadcast State 加 TTL 的,当时应该没有继续深入讨论: https://issues.apache.org/jira/browse/FLINK-13721 方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗?也可以在 Ticket 下 Vote for this issue. 我这边也会帮忙一起看下 On Mon, May 15, 2023 at 1:41 PM lxk wrote: > 这么看来,广播流好像不适合在生产中使用,状态会无限止的增长。这块官方有计划增加ttl功能吗。 > 或者使用