Hi,
今天又重新测试了一次，日志如下所示:
2022-07-12 13:55:38,674 INFO org.apache.flink.client.cli.CliFrontend
[] - Loading FallbackYarnSessionCli
2022-07-12 13:55:38,707 INFO org.apache.flink.core.fs.FileSystem
[] - Hadoop is not in the classpath/dependencies.
Hi,
只有 flink-table-planner-loader-1.15.1.jar，没有flink-table-planner_2.12-1.15.1.jar
也是不行的，并不是去掉一个就可以了
只能使用flink-table-planner_2.12-1.15.1.jar，所以感到奇怪
Thanks
在 2022-07-11 20:19:01，"jiangjiguang719" 写道：
>hi,
>你这个问题是，
>
>flink-table-planner-loader-1.15.1.jar 和
Flink team好，
我有一个很一般的问题，关于如何释放 Flink Job 中某个对象持有的资源。
我是 Flink 的新用户。我搜索了很多，但没有找到相关文件。但我确信有一个标准的方法来解决它。
我的Flink 应用程序中需要访问 Elasticsearch 服务器。我们使用从
org.elasticsearch.client.RestHighLevelClient 扩展而来的类 EsClient 来完成查询工作，
一旦不再使用它就需要调用它的`close`方法来释放资源。
所以我需要找到合适的地方来确保资源总是可以被释放，即使在调用的某个地方发生了一些异常
我用 flink run -m 方式指定 clusterIp 是可以提交任务的。
那么使用 --target kubernetes-session
-Dkubernetes.cluster-id=my-first-flink-cluster 的方式，为什么不能智能点拿到对应
cluster 的 svc 的 clusterIp 去提交呢。
yidan zhao 于2022年7月12日周二 12:50写道：
>
> 如果是在 k8s-master-node 上，可不可以直接用 ClusterIp 呢?
>
>
> 其次，NodePort我大概理解，一直不是很懂 LoadBalancer
如果是在 k8s-master-node 上，可不可以直接用 ClusterIp 呢?
其次，NodePort我大概理解，一直不是很懂 LoadBalancer 方式是什么原理。
yidan zhao 于2022年7月12日周二 12:48写道：
>
> 我理解的 k8s 集群内是组成 k8s 的机器，是必须在 pod 内？我在k8s的node上也不可以是吧。
>
> Yang Wang 于2022年7月12日周二 12:07写道：
> >
> > 日志里面已经说明的比较清楚了，如果用的是ClusterIP的方式，那你的Flink
> >
我理解的 k8s 集群内是组成 k8s 的机器，是必须在 pod 内？我在k8s的node上也不可以是吧。
Yang Wang 于2022年7月12日周二 12:07写道：
>
> 日志里面已经说明的比较清楚了，如果用的是ClusterIP的方式，那你的Flink
> client必须在k8s集群内才能正常提交。例如：起一个Pod，然后再pod里面执行flink run
> 否则你就需要NodePort或者LoadBalancer的方式了
>
> 2022-07-12 10:23:23,021 WARN
>
日志里面已经说明的比较清楚了，如果用的是ClusterIP的方式，那你的Flink
client必须在k8s集群内才能正常提交。例如：起一个Pod，然后再pod里面执行flink run
否则你就需要NodePort或者LoadBalancer的方式了
2022-07-12 10:23:23,021 WARN
org.apache.flink.kubernetes.KubernetesClusterDescriptor [] -
Please note that Flink client operations(e.g. cancel, list, stop,
看一下 TM pods 是否启动了？TM log 中是否有异常？看起来是 TM 一直没有注册上来
Best，
Lijie
陈卓宇 <2572805...@qq.com.invalid> 于2022年7月12日周二 10:53写道：
> flink：1.14.5
> on k8s 部署taskmanager一直不能启动，也没有日志
> jobmanager日志：
> 2022-07-12 02:08:22,271 INFO
> org.apache.flink.kubernetes.KubernetesResourceManagerDriver [] -
> Creating new
flink??1.14.5
on k8s taskmanager
jobmanager??
2022-07-12 02:08:22,271 INFO
org.apache.flink.kubernetes.KubernetesResourceManagerDriver [] - Creating
new TaskManager pod with name iii5-taskmanager-1-1 and resource <1728,1.0.
2022-07-12 02:08:22,286 WARN
如下步骤参考的文档
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/resource-providers/native_kubernetes/#starting-a-flink-session-on-kubernetes
版本：1.15
（1）创建集群：
这是job managers所有日志：
2022-07-12 09:33:02,280 INFO
org.apache.flink.configuration.GlobalConfiguration [] - Loading
configuration property: execution.shutdown-on-attached-exit, false
2022-07-12 09:33:02,280 INFO
org.apache.flink.configuration.GlobalConfiguration [] - Loading
看起来你是在集群里运行的Flink；是通过Flink on YARN启动的session cluster吗？在启动session
cluster时使用的flink/lib是不是没有添加flink-sql-parquet jar包？如果是的话，重启一下你的session
cluster再试试。之所以这样怀疑，是因为你的DDL里用了parquet但没报错，这一般表示你client端的依赖是没问题的。但select语句报错了，而select是会被翻译成flink作业在集群上执行的，如果是用session
cluster的话，session cluster里的依赖有可能不全，进而导致报错。
hi,
你这个问题是，
flink-table-planner-loader-1.15.1.jar 和 flink-table-planner_2.12-1.15.1.jar
冲突了 去掉一个就可以了
在 2022-07-11 19:45:04，"Weihua Hu" 写道：
>Hi,
>
>有更详细的日志吗？看起来是类加载冲突的，需要明确下是哪个类冲突了
>
>Best,
>Weihua
>
>
>On Wed, Jul 6, 2022 at 1:53 PM RS wrote:
>
>> Hi，
>>
>>
>>
hi,
flink sql client 是root启动的，我已经把 flink-sql-parquet-1.15.0.jar 改成了
777，并且反编译了该jar包，确认org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
类是存在的
但是还是一样的问题
在 2022-07-11 19:50:17，"Weihua Hu" 写道：
>Hi,
>
>看起来 lib 目录下的文件权限不一样，flink-sql-parquet-1.15.0.jar 是 root 用户的，flink
Hi,
看起来 lib 目录下的文件权限不一样，flink-sql-parquet-1.15.0.jar 是 root 用户的，flink
进程是通过什么用户启动的呢？
Best,
Weihua
On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719
wrote:
> hi,
> 我使用 sql-client 读取parquet文件，报错：
> [ERROR] Could not execute SQL statement. Reason:
> java.lang.ClassNotFoundException:
>
Hi,
任务反复初始化是指一直在 Failover 吗？在 JobManager.log 里可以看到作业 Failover 原因，搜索关键字; "to
FAILED"
Best,
Weihua
On Mon, Jul 11, 2022 at 2:46 PM ynz...@163.com wrote:
> Hi，
> 我正在使用flink将数据写入hudi并同步至hive，将任务提交到yarn后，我从flink web
> ui看到：相关任务反复初始化，task managers无任何信息。日志中也无明确错误提示 ；
>
Hi,
有更详细的日志吗？看起来是类加载冲突的，需要明确下是哪个类冲突了
Best,
Weihua
On Wed, Jul 6, 2022 at 1:53 PM RS wrote:
> Hi，
>
>
> 通过sql-client执行flink sql，connector选择filesystem，会出现如下报错
> java.lang.ClassNotFoundException:
> org.apache.flink.table.planner.delegation.ParserFactory
>
>
> Flink SQL> CREATE TABLE t1 (
> > a
hi,
我使用 sql-client 读取parquet文件，报错：
[ERROR] Could not execute SQL statement. Reason:
java.lang.ClassNotFoundException:
org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
Flink版本：1.15.0/1.15.1
SQL语句：
Flink SQL> CREATE TABLE orders_parquet (
> int32_fieldINT,
>
Hi，
我正在使用flink将数据写入hudi并同步至hive，将任务提交到yarn后，我从flink web ui看到：相关任务反复初始化，task
managers无任何信息。日志中也无明确错误提示 ；
当我删除代码中sync_hive相关配置，并且不改变其他配置，数据能正常写入hudi ；
我使用的hudi-0.11.1，flink-1.14.4，hadoop-3.3.1，hive-3.1.3 ；
best,
ynz...@163.com
19 matches
Mail list logo
