flink Per-Job-Cluster 支持提交sql任务吗

[shanwu...@rockontrol.com]

Hi:
flink Per-Job-Cluster 模式支持提交sql任务吗？没有看到相关的资料。如果支持，可以发下文档地址吗？
版本：flink-1.13.5



shanwu...@rockontrol.com

使用Apache Pulsar Connector发生NoClassDefFoundError

[AaronFae]

connector版本

org.apache.flink
flink-connector-pulsar_2.11
1.14.3

flink版本：1.14.3


Job Mamager 堆栈
看到依赖已打到jar里面

Re:使用Apache Pulsar Connector发生NoClassDefFoundError

[高大余]

是否可以粘贴出更详细的报错日志？比如是哪个类出现了NoClassDefFoundError











在 2022-02-22 19:26:10，"AaronFae"  写道：
>connector版本
>
>org.apache.flink
>flink-connector-pulsar_2.11
>1.14.3
>
>flink版本：1.14.3
>
>
>Job Mamager 堆栈
>看到依赖已打到jar里面

Re:flink Per-Job-Cluster 支持提交sql任务吗

[高大余]

目前sql任务的提交类似与jar的提交，在代码中写flinksql，打包成jar后使用flink pre-job-cluster模式提交

















在 2022-02-22 18:40:45，"shanwu...@rockontrol.com"  写道：
>Hi:
>flink Per-Job-Cluster 模式支持提交sql任务吗？没有看到相关的资料。如果支持，可以发下文档地址吗？
>版本：flink-1.13.5
>
>
>
>shanwu...@rockontrol.com

Re:Re:使用Apache Pulsar Connector发生NoClassDefFoundError

[AaronFae]

2022-02-22 19:51:25
org.apache.flink.util.FlinkException: Global failure triggered by 
OperatorCoordinator for 'Source: Pulsar Source -> Sink: Print Pulsar Message' 
(operator cbc357ccb763df2852fee8c4fc7d55f2).
at 
org.apache.flink.runtime.operators.coordination.OperatorCoordinatorHolder$LazyInitializedCoordinatorContext.failJob(OperatorCoordinatorHolder.java:545)
at 
org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator$QuiesceableContext.failJob(RecreateOnResetOperatorCoordinator.java:223)
at 
org.apache.flink.runtime.source.coordinator.SourceCoordinatorContext.failJob(SourceCoordinatorContext.java:285)
at 
org.apache.flink.runtime.source.coordinator.SourceCoordinator.start(SourceCoordinator.java:133)
at 
org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator$DeferrableCoordinator.resetAndStart(RecreateOnResetOperatorCoordinator.java:381)
at 
org.apache.flink.runtime.operators.coordination.RecreateOnResetOperatorCoordinator.lambda$resetToCheckpoint$6(RecreateOnResetOperatorCoordinator.java:136)
at java.util.concurrent.CompletableFuture.uniRun(CompletableFuture.java:719)
at 
java.util.concurrent.CompletableFuture$UniRun.tryFire(CompletableFuture.java:701)
at 
java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:488)
at 
java.util.concurrent.CompletableFuture.complete(CompletableFuture.java:1975)
at 
org.apache.flink.runtime.operators.coordination.ComponentClosingUtils.lambda$closeAsyncWithTimeout$0(ComponentClosingUtils.java:71)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.NoClassDefFoundError: Could not initialize class 
org.apache.pulsar.client.admin.internal.PulsarAdminImpl
at 
org.apache.pulsar.client.admin.internal.PulsarAdminBuilderImpl.build(PulsarAdminBuilderImpl.java:47)
at 
org.apache.flink.connector.pulsar.common.utils.PulsarExceptionUtils.sneaky(PulsarExceptionUtils.java:69)
at 
org.apache.flink.connector.pulsar.common.utils.PulsarExceptionUtils.sneakyClient(PulsarExceptionUtils.java:46)
at 
org.apache.flink.connector.pulsar.common.config.PulsarConfigUtils.createAdmin(PulsarConfigUtils.java:213)
at 
org.apache.flink.connector.pulsar.source.enumerator.PulsarSourceEnumerator.(PulsarSourceEnumerator.java:86)
at 
org.apache.flink.connector.pulsar.source.PulsarSource.createEnumerator(PulsarSource.java:149)
at 
org.apache.flink.runtime.source.coordinator.SourceCoordinator.start(SourceCoordinator.java:129)
... 8 more


不好意思，以为可以发图片，以上是Job Mamager 堆栈














在 2022-02-22 20:03:09，"高大余" <18656037...@163.com> 写道：
>
>
>
>
>
>
>是否可以粘贴出更详细的报错日志？比如是哪个类出现了NoClassDefFoundError
>
>
>
>
>
>
>
>
>
>
>
>在 2022-02-22 19:26:10，"AaronFae"  写道：
>>connector版本
>>
>>org.apache.flink
>>flink-connector-pulsar_2.11
>>1.14.3
>>
>>flink版本：1.14.3
>>
>>
>>Job Mamager 堆栈
>>看到依赖已打到jar里面

退订

[wang xiguang]

退订

从 Windows 版邮件发送

Re: flink Per-Job-Cluster 支持提交sql任务吗

[丛鹏]

不支持直接提交sql，sql需要放在代码中调用，或者考虑使用zepplien等第三方sql平台

shanwu...@rockontrol.com  于2022年2月22日周二 18:42写道：

> Hi:
> flink Per-Job-Cluster 模式支持提交sql任务吗？没有看到相关的资料。如果支持，可以发下文档地址吗？
> 版本：flink-1.13.5
>
>
>
> shanwu...@rockontrol.com
>

?????? flink Per-Job-Cluster ????????sql??????

[??????]

https://github.com/DataLinkDC/dlink
dlink 
??sql??per-jobFlink??perjob??sql->jobgraph->yarnclient




--  --
??: 
   "user-zh"

rocksdb backend设置后没有启用

[swessia]

flink版本：1.13.5






flink-conf.yml中的rocksdb配置：
taskmanager.memory.process.size: 2048m
taskmanager.memory.managed.fraction: 0.15
taskmanager.memory.network.fraction: 0.1


state.backend: rocksdb
state.backend.incremental: true
state.checkpoints.dir: 
hdfs:///userdata/flink-1-13-5/yarn/high-availability/checkpoints
state.savepoints.dir: 
hdfs:///userdata/flink-1-13-5/yarn/high-availability/savepoints
state.backend.rocksdb.localdir: /userdata/data/flink-1-13-5/tmp
state.checkpoints.num-retained: 3


使用yarn-session方式部署flink job
发现在job启动后taskmanager 的manage memory一直是0，状态也一直存在taskmanager的内存里，最后内存占满频繁full gc


有大佬知道原因吗？