Re:Re: filesystem java.lang.ClassNotFoundException: org.apache.flink.table.planner.delegation.ParserFactory

hi, 你这个问题是， flink-table-planner-loader-1.15.1.jar 和 flink-table-planner_2.12-1.15.1.jar 冲突了 去掉一个就可以了 在 2022-07-11 19:45:04，"Weihua Hu" 写道： >Hi, > >有更详细的日志吗？看起来是类加载冲突的，需要明确下是哪个类冲突了 > >Best, >Weihua > > >On Wed, Jul 6, 2022 at 1:53 PM RS wrote: > >> Hi， >> >> >>

Re:Re: sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat

ar 是 root 用户的，flink >进程是通过什么用户启动的呢？ > >Best, >Weihua > > >On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719 >wrote: > >> hi, >> 我使用 sql-client 读取parquet文件，报错： >> [ERROR] Could not execute SQL statement. Reason: >> java.lang.ClassNotFoundExcept

sql-client java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat

hi, 我使用 sql-client 读取parquet文件，报错： [ERROR] Could not execute SQL statement. Reason: java.lang.ClassNotFoundException: org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat Flink版本：1.15.0/1.15.1 SQL语句： Flink SQL> CREATE TABLE orders_parquet ( > int32_fieldINT, >

Re:Re:Re:what time support java17 ?

owse/FLINK-15736 >在 2022-07-04 17:04:52，"jiangjiguang719" 写道： >>这个问题没人解答吗？ spark现在已经支持java17了 >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >>At 2022-07-02 18:15:10, &

Re:what time support java17 ?

这个问题没人解答吗？ spark现在已经支持java17了 At 2022-07-02 18:15:10, "jiangjiguang719" wrote: >hi guys: >what time can flink support java17 ? I urgently want to use java17 new >features. > > >I have try to upgrade to java17，but failed. Has anyone succeeded? > > >thanks, >jiguang

what time support java17 ?

hi guys: what time can flink support java17 ? I urgently want to use java17 new features. I have try to upgrade to java17，but failed. Has anyone succeeded? thanks, jiguang

写hdfs异常 org.apache.hadoop.fs.FileAlreadyExistsException

flink版本：1.10 在写HDFS时报如下异常，并且出现这个异常后，之后的所有checkpoint都会出现此异常，任务下线重启后恢复正常 请问这是咋回事呢？ level :WARN location :org.apache.flink.runtime.scheduler.SchedulerBase.lambda$acknowledgeCheckpoint$4(SchedulerBase.java:796) log

怎么理解 tolerableCheckpointFailureNumber

tolerableCheckpointFailureNumber 是设置可容忍的checkpoint失败次数，具体怎么理解呢？比如 设置为3 1. 当checkpoint 失败时，该值+1，直到 大于 3，实时作业就发生失败或重启？ 2. 当checkpoint 失败时，是立即进行下个checkpoint？还是根据周期设置自动触发？ 3. 该值是累加值吗

SQL作业的提交方式

目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目，想问下： 1、有没有更好的SQL作业的提交方式？ 2、既然flink1.12 已经实现批流一体，要实现即席查询怎么提交SQL呢？ 3、SQL Client Gateway 社区大概啥时候发布？能够生产可用？

Re:Re: Re:flink作业通过grafana监控，若想发出报警该如何选择指标的问题

1、是自研的 2、定时调度 http://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API 在 2021-01-07 16:15:25，"bradyMk" 写道： >Hi~ >请教一下： >①您说的这个实时计算平台是你们自研的么？ >②每分钟调用yarn的rest api 获取作业状态，您是怎么实现的呢？是定时脚本么？我没调用过yarn的rest api ，还不懂改如何调用。。。 > > > >-

Re:flink作业通过grafana监控，若想发出报警该如何选择指标的问题

我们当前的实现是，每分钟调用yarn的rest api 获取作业状态，和实时计算平台上的作业状态对比，如果挂掉就电话报警，同时平台上作业状态修改为运行异常 在 2021-01-06 16:35:05，"bradyMk" 写道： >Hi，请教大家一个问题： > >目前使用grafana监控flink的作业，想实现一个任务挂掉就报警的功能，初步想法是：监控checkpoint >size的指标，一旦这个指标为0，就认为任务挂掉，但实际操作后，发现了两个问题： > >① 如果kill掉任务，grafana上的flink所有指标都会一直保持最后接收到的值不变； >②

Re:Re: SQL Client并行度设置 问题

nference >[2]: >https://ci.apache.org/projects/flink/flink-docs-master/deployment/config.html#slotmanager-number-of-slots-max > >On Thu, 31 Dec 2020 at 14:56, jiangjiguang719 >wrote: > >> flink1.12版本，使用SQL Client提交任务，读hive表，对并行度有些疑问，以下是现象： >> flink-conf.yaml文件中的： >>

SQL Client并行度设置 问题

flink1.12版本，使用SQL Client提交任务，读hive表，对并行度有些疑问，以下是现象： flink-conf.yaml文件中的： taskmanager.numberOfTaskSlots: 1 有效 parallelism.default: 1无效，实际任务的并行度=hive表的文件 且 <= 160 sql-client-defaults.yaml 文件中的： execution: parallelism: 10无效 max-parallelism: 16 当hive表的文件数大于此值时，报资源不足

Re:Re:flink1.12 SQL Client 报错

; > > >在 2020-12-30 15:26:59，"jiangjiguang719" 写道： >>使用 SQL Client，进行hive查询时报错： >>命名有了flink-connector-hive_2.11-1.12.0.jar，还是报java.lang.ClassNotFoundException: >>org.apache.flink.connectors.hive.HiveSource >>麻烦看一下 >> >> >>报错信息：

flink1.12 SQL Client 报错

使用 SQL Client，进行hive查询时报错： 命名有了flink-connector-hive_2.11-1.12.0.jar，还是报java.lang.ClassNotFoundException: org.apache.flink.connectors.hive.HiveSource 麻烦看一下 报错信息： Flink SQL> select count(*) from zxw_test_1225_01; 2020-12-30 16:20:42,518 WARN org.apache.hadoop.hive.conf.HiveConf

SQL执行模式

flink1.12版本中，streamAPI 通过 -Dexecution.runtime-mode 指定是批还是流 的执行模式，那么在SQL中如何指定呢

flink1.12 docker 镜像啥时候有

请问啥时候 在docker hub中可以看到1.12版本的镜像？

flink on native k8s 没有

flink版本：1.11 k8s版本：1.18 flink on native k8s 按照官网配置，可以看到jobmanager ui 但是没有tm为0 slot为0 提交任务 就会一直卡主 角色配置： [root@node20 rbac]# cat rbac-role.yaml kind: Role apiVersion: rbac.authorization.k8s.io/v1 metadata: namespace: di-flink-dev name: flink-admin rules: - apiGroups: [""] resources:

Re:1.11版本的yarn-session如何指定taskmanager数量

根据 -p 最大并行度 和-ys 每个TM的slot个数来计算 在 2020-11-11 17:14:41，"kingdomad" 写道： >我发现1.11版本的yarn-session.sh废弃了-n参数，那如何指定taskmanager数量？ > > > > > > > > > > > > > >-- > >kingdomad >