Hi,
从错误上看应该是你作业里某个字符串字段被作为时间戳处理,导致作业codegen失败了。你的作业逻辑比较复杂,你可以排查一下跟时间相关的字段,检查一下字段类型处理是否正确,比如eventTime字段
Best,
Shammon FY
On Mon, May 15, 2023 at 7:29 PM lxk wrote:
> 你好,从报错来看是类型不兼容导致的。
> Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column
> 103: Cannot cast "java.lang.Str
Application Mode没有这个问题,现在是Session Mode提交作业会遇到这个问题
./bin/flink run -m localhost:8081 ./examples/streaming/TopSpeedWindowing.jar
后面这个作业TopSpeedWindowing.jar包可以使用hdfs/oss路径指定吗?如果是分布式文件路径的话是不是就不用上传作业jar包到jobManager了,而是由jobManager自行下载?
在 2023-05-15 19:27:21,"shimin huang" 写道:
>可以考虑基于flink-kube
你好,从报错来看是类型不兼容导致的。
Caused by: org.codehaus.commons.compiler.CompileException: Line 17, Column 103:
Cannot cast "java.lang.String" to "java.time.LocalDateTime"
可以尝试对表结构进行优化,或者使用相关函数对字段类型进行转换
At 2023-05-15 18:29:15, "小昌同学" wrote:
>|
>package job;
>import bean.BaseInfo;
>import be
可以考虑基于flink-kubernetes依赖下的KubernetesClusterDescriptor来启动任务,可以参考https://github.com/collabH/flink-deployer/blob/main/infrastructure/src/main/java/com/flink/plugins/inf/deployer/KubernetesClusterDeployer.java
> 2023年5月15日 19:21,casel.chen 写道:
>
> 我们开发了一个实时计算平台提交flink
> sql作业到k8s上运行,发现每次提交作业都需要上传
我们开发了一个实时计算平台提交flink
sql作业到k8s上运行,发现每次提交作业都需要上传平台sql作业jar包flinksql.jar,因为这个jar包包含了平台用到的所有connector和format,所以flinksql.jar这个fat
jar有几百MB,又因为平台所在的k8s集群和作业真正运行的k8s集群是不同的,某些集群的跨k8s离群网络传输开销(跨地区甚至跨云厂商)比较大,而且这个flinksql.jar我们已经放到了k8s镜像当中,jobManager加载镜像后是可以在本地找到该jar的,所以想问一下Flink提交作业是否可以跳过上传作业jar包这一步?有没有参数
Hi ALL,
OS: CentOS 7.9
Flink version: 1.16.0
It looks like I'm hitting a notorious exception which had been
discoverd since earlier fink version. The issue was triggered
when below java code executed:
StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
More detaile
|
package job;
import bean.BaseInfo;
import bean.MidInfo;
import bean.OutInfo;
import bean.ResultInfo;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import config.FlinkConfig;
import function.MyProcessFunction;
import org.apache.flink.api.common.functions.MapFunction;
im
你好,可以把相关代码贴上来吗,方便大家进行分析。如果使用sql的话还可以把执行计划贴上来。
在 2023-05-15 17:11:42,"小昌同学" 写道:
>各位老师,请教一下我在使用table API进行编程的时候,报错信息为”Caused by:
>org.apache.flink.api.common.InvalidProgramException: Table program cannot be
>compiled. This is a bug. Please file an issue. “
>flink使用版本为1.14,请问一下有相关社
各位老师,请教一下我在使用table API进行编程的时候,报错信息为”Caused by:
org.apache.flink.api.common.InvalidProgramException: Table program cannot be
compiled. This is a bug. Please file an issue. “
flink使用版本为1.14,请问一下有相关社区的技术人员可以进行对接吗,还是怎么操作
| |
小昌同学
|
|
ccc0606fight...@163.com
|
好的,感谢
在 2023-05-15 15:49:12,"Hangxiang Yu" 写道:
>Hi, 可以参考这个 Ticket ,就是讨论要给 Broadcast State 加 TTL 的,当时应该没有继续深入讨论:
>https://issues.apache.org/jira/browse/FLINK-13721
>方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗?也可以在 Ticket 下 Vote for this issue.
>我这边也会帮忙一起看下
>
>On Mon, May 15, 2023 at 1:41
Hi, 可以参考这个 Ticket ,就是讨论要给 Broadcast State 加 TTL 的,当时应该没有继续深入讨论:
https://issues.apache.org/jira/browse/FLINK-13721
方便的话你可以在 Ticket 下面也分享下你的使用场景、观察到的现象吗?也可以在 Ticket 下 Vote for this issue.
我这边也会帮忙一起看下
On Mon, May 15, 2023 at 1:41 PM lxk wrote:
> 这么看来,广播流好像不适合在生产中使用,状态会无限止的增长。这块官方有计划增加ttl功能吗。
> 或者使用
11 matches
Mail list logo