tolerableCheckpointFailureNumber 是设置可容忍的checkpoint失败次数,具体怎么理解呢?比如 设置为3
1. 当checkpoint 失败时,该值+1,直到 大于 3,实时作业就发生失败或重启?
2. 当checkpoint 失败时,是立即进行下个checkpoint?还是根据周期设置自动触发?
3. 该值是累加值吗
flink版本:1.10
在写HDFS时报如下异常,并且出现这个异常后,之后的所有checkpoint都会出现此异常,任务下线重启后恢复正常
请问这是咋回事呢?
level
:WARN
location
:org.apache.flink.runtime.scheduler.SchedulerBase.lambda$acknowledgeCheckpoint$4(SchedulerBase.java:796)
log
:2021-02-0207:45:09,024ultron-flink2hdfs-pb2-log_midu_serverWARNorg.apache.flink.runtime
hi guys:
what time can flink support java17 ? I urgently want to use java17 new features.
I have try to upgrade to java17,but failed. Has anyone succeeded?
thanks,
jiguang
这个问题没人解答吗? spark现在已经支持java17了
At 2022-07-02 18:15:10, "jiangjiguang719" wrote:
>hi guys:
>what time can flink support java17 ? I urgently want to use java17 new
>features.
>
>
>I have try to upgrade to java17,but failed. Has anyone succeeded?
>
>
>thanks,
>jiguang
owse/FLINK-15736
>在 2022-07-04 17:04:52,"jiangjiguang719" 写道:
>>这个问题没人解答吗? spark现在已经支持java17了
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>At 2022-07-02 18:15:10, &
hi,
我使用 sql-client 读取parquet文件,报错:
[ERROR] Could not execute SQL statement. Reason:
java.lang.ClassNotFoundException:
org.apache.flink.formats.parquet.ParquetColumnarRowInputFormat
Flink版本:1.15.0/1.15.1
SQL语句:
Flink SQL> CREATE TABLE orders_parquet (
> int32_fieldINT,
> int32_
ar 是 root 用户的,flink
>进程是通过什么用户启动的呢?
>
>Best,
>Weihua
>
>
>On Mon, Jul 11, 2022 at 7:36 PM jiangjiguang719
>wrote:
>
>> hi,
>> 我使用 sql-client 读取parquet文件,报错:
>> [ERROR] Could not execute SQL statement. Reason:
>> java.lang.ClassNotFoundExcept
hi,
你这个问题是,
flink-table-planner-loader-1.15.1.jar 和 flink-table-planner_2.12-1.15.1.jar
冲突了 去掉一个就可以了
在 2022-07-11 19:45:04,"Weihua Hu" 写道:
>Hi,
>
>有更详细的日志吗?看起来是类加载冲突的,需要明确下是哪个类冲突了
>
>Best,
>Weihua
>
>
>On Wed, Jul 6, 2022 at 1:53 PM RS wrote:
>
>> Hi,
>>
>>
>> 通过sql-client执行flin
根据 -p 最大并行度 和-ys 每个TM的slot个数来计算
在 2020-11-11 17:14:41,"kingdomad" 写道:
>我发现1.11版本的yarn-session.sh废弃了-n参数,那如何指定taskmanager数量?
>
>
>
>
>
>
>
>
>
>
>
>
>
>--
>
>kingdomad
>
flink版本:1.11
k8s版本:1.18
flink on native k8s 按照官网配置,可以看到jobmanager ui
但是没有tm为0 slot为0 提交任务 就会一直卡主
角色配置:
[root@node20 rbac]# cat rbac-role.yaml
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
namespace: di-flink-dev
name: flink-admin
rules:
- apiGroups: [""]
resources: ["p
请问啥时候 在docker hub中可以看到1.12版本的镜像?
flink1.12版本中,streamAPI 通过 -Dexecution.runtime-mode 指定是批还是流 的执行模式,那么在SQL中如何指定呢
使用 SQL Client,进行hive查询时报错:
命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException:
org.apache.flink.connectors.hive.HiveSource
麻烦看一下
报错信息:
Flink SQL> select count(*) from zxw_test_1225_01;
2020-12-30 16:20:42,518 WARN org.apache.hadoop.hive.conf.HiveConf
;
>
>
>在 2020-12-30 15:26:59,"jiangjiguang719" 写道:
>>使用 SQL Client,进行hive查询时报错:
>>命名有了flink-connector-hive_2.11-1.12.0.jar,还是报java.lang.ClassNotFoundException:
>>org.apache.flink.connectors.hive.HiveSource
>>麻烦看一下
>>
>>
>>报错信息:
flink1.12版本,使用SQL Client提交任务,读hive表,对并行度有些疑问,以下是现象:
flink-conf.yaml文件中的:
taskmanager.numberOfTaskSlots: 1 有效
parallelism.default: 1无效,实际任务的并行度=hive表的文件 且 <= 160
sql-client-defaults.yaml 文件中的:
execution:
parallelism: 10无效
max-parallelism: 16 当hive表的文件数大于此值时,报资源不足 Dep
nference
>[2]:
>https://ci.apache.org/projects/flink/flink-docs-master/deployment/config.html#slotmanager-number-of-slots-max
>
>On Thu, 31 Dec 2020 at 14:56, jiangjiguang719
>wrote:
>
>> flink1.12版本,使用SQL Client提交任务,读hive表,对并行度有些疑问,以下是现象:
>> flink-conf.yaml文件中的:
>>
我们当前的实现是,每分钟调用yarn的rest api 获取作业状态,和实时计算平台上的作业状态对比,如果挂掉就电话报警,同时平台上作业状态修改为运行异常
在 2021-01-06 16:35:05,"bradyMk" 写道:
>Hi,请教大家一个问题:
>
>目前使用grafana监控flink的作业,想实现一个任务挂掉就报警的功能,初步想法是:监控checkpoint
>size的指标,一旦这个指标为0,就认为任务挂掉,但实际操作后,发现了两个问题:
>
>① 如果kill掉任务,grafana上的flink所有指标都会一直保持最后接收到的值不变;
>② 如果cancel掉任务
1、是自研的
2、定时调度
http://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API
在 2021-01-07 16:15:25,"bradyMk" 写道:
>Hi~
>请教一下:
>①您说的这个实时计算平台是你们自研的么?
>②每分钟调用yarn的rest api 获取作业状态,您是怎么实现的呢?是定时脚本么?我没调用过yarn的rest api ,还不懂改如何调用。。。
>
>
>
>-
>B
目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目,想问下:
1、有没有更好的SQL作业的提交方式?
2、既然flink1.12 已经实现批流一体,要实现即席查询怎么提交SQL呢?
3、SQL Client Gateway 社区大概啥时候发布?能够生产可用?
19 matches
Mail list logo