保存中间变量可以用状态存
李继 于2021年1月7日周四 下午5:42写道：
> HI ， 请问当一个算子会被多次使用时,怎么把他缓存住，类似于spark的cache操作
>
> val env = getBatchEnv
> val ds = env.fromElements("a","b","c")
>
> val ds2 = ds.map(x=>{
> println("map op")
> x.charAt(0).toInt+1
> })
>
> //此操作会打印三遍map op
> ds2.print()
>
> //此操作又会打印三遍map op
>
好的，谢谢
发件人： Rui Li
发送时间： 2021-01-08 11:42
收件人： user-zh
主题： Re: 回复：sql-client配置hive启动不了
Hi，
用table api的话可以设置flink的security参数来指定principal和keytab [1]。
SQL client的模式试一下启动前手动做kinit行不行吧
[1]
遇到了同样的问题，但是看没issue跟进
--
Sent from: http://apache-flink.147419.n8.nabble.com/
1、使用以下命令发布任务：
./bin/flink run-application \
--target kubernetes-application \
-Dkubernetes.cluster-id=my-first-application-cluster \
-Dkubernetes.container.image=registry.cn-shenzhen.aliyuncs.com/syni_test/flink:v1
\
-Dkubernetes.container.image.pull-policy=Always \
Hi，
用table api的话可以设置flink的security参数来指定principal和keytab [1]。
SQL client的模式试一下启动前手动做kinit行不行吧
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html#auth-with-external-systems
On Fri, Jan 8, 2021 at 10:06 AM amenhub wrote:
> 啊？确实是带kerberos的hms，那请问有其他的解决办法吗
>
>
Hi,
有可能是堆外内存超用，可以参考最近中文社区的一篇投稿 《详解 Flink 容器化环境下的 OOM Killed》进行修改，建议先增大 jvm-overhead
相关配置
[1]
https://mp.weixin.qq.com/s?__biz=MzU3Mzg4OTMyNQ===2247490197=1=b0893a9bf12fbcae76852a156302de95
祝好
唐云
From: Yang Peng
Sent: Thursday, January 7, 2021 12:24
To:
因为numRestarts 是一个累计值，所以你得区分当前值和之前的数值是否发生了增加，来区分是否发生了failover。
另外，不建议使用YARN的application状态来判断Flink作业状态，因为如果Flink作业配置了重试策略，即使作业不断进行failover，整个YARN的application状态仍然是RUNNING，并不能发现问题。
祝好
唐云
From: bradyMk
Sent: Thursday, January 7, 2021 16:38
To:
zeppelin 0.9 已经可以充当flink的job server角色了？
上次看jeff zhang在云栖大会说的是后面有这个规划，现在已经可以是用来？
Peihui He 于2021年1月8日周五 上午9:21写道：
> 可以尝试下zeppelin 0.9
> http://zeppelin.apache.org/
>
>
> jiangjiguang719 于2021年1月7日周四 下午8:34写道：
>
> > 目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目，想问下：
> > 1、有没有更好的SQL作业的提交方式？
>
2021-01-0809:47:31,636INFO
org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Checkpoint9of
job 5e953fb772f9030c728e7c0498555ae2 expired before completing.
2021-01-0809:47:31,637INFO org.apache.flink.runtime.jobmaster.JobMaster [] -
Trying to recover from a global
各位大佬好：
目前我使用的flink on k8s session部署的flink 集群，集群里有3个taskmanager，每个taskmanager
有8个slot。我在提交job时，并行度设置的是3，目前job始终都是在一个taskmanager上，造成数据倾斜，每次checkpoint都不能成功。请问各位大佬在flink
on k8s 上有没有类似yarn上的yarnslot 这样的参数来，控制使用taskmanager的个数。
flink taskmanager的配置
jobmanager.rpc.address: flink-jobmanager-svc
啊？确实是带kerberos的hms，那请问有其他的解决办法吗
发件人： 叶贤勋
发送时间： 2021-01-08 10:03
收件人： user-zh@flink.apache.org
主题： 回复：sql-client配置hive启动不了
HMS是不是带kerberos认证的？
目前社区hive connector不支持访问Kerberos的HMS
在2021年01月7日 18:39，amenhub 写道：
在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql
HMS是不是带kerberos认证的？
目前社区hive connector不支持访问Kerberos的HMS
在2021年01月7日 18:39，amenhub 写道：
在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql
client
报错信息：https://imgchr.com/i/smQrlj
flink 版本，1.12
hive 版本，3.1.0
我这边是底层其实有个 Flink Jar 任务，然后将 Flink SQL 代码以及作业相关配置参数，当做参数一起传入到底层
的 Flink Jar 中去，当然，现在也有很多其他的方式能够实现，也可以参考楼上的链接。
Best,
LakeShen
Peihui He 于2021年1月8日周五 上午9:21写道：
> 可以尝试下zeppelin 0.9
> http://zeppelin.apache.org/
>
>
> jiangjiguang719 于2021年1月7日周四 下午8:34写道：
>
> > 目前我司的SQL作业的提交 还是使用的 Jark 老师的
可以尝试下zeppelin 0.9
http://zeppelin.apache.org/
jiangjiguang719 于2021年1月7日周四 下午8:34写道：
> 目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目，想问下：
> 1、有没有更好的SQL作业的提交方式？
> 2、既然flink1.12 已经实现批流一体，要实现即席查询怎么提交SQL呢？
> 3、SQL Client Gateway 社区大概啥时候发布？能够生产可用？
可以尝试一下：https://github.com/ververica/flink-sql-gateway
如果有相关的需求，可以提issue
jiangjiguang719 于2021年1月7日周四 下午8:34写道：
> 目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目，想问下：
> 1、有没有更好的SQL作业的提交方式？
> 2、既然flink1.12 已经实现批流一体，要实现即席查询怎么提交SQL呢？
> 3、SQL Client Gateway 社区大概啥时候发布？能够生产可用？
--
*With kind
Hi,
大家好，
降级avro遇到的问题
在1.12官方文档里提到avro目前使用1.10，但是可以按需降级到1.8.2
https://ci.apache.org/projects/flink/flink-docs-release-1.12/release-notes/flink-1.12.html#upgrade-to-avro-version-1100-from-182-flink-18192
我这边在尝试降级时，遇到了下面的问题
1. 如果直接依赖1.8.2 会导致 flink-avro里的 AvroSchemaConverter#nullableSchema 报错
目前我司的SQL作业的提交 还是使用的 Jark 老师的 flink-sql-submit 项目，想问下：
1、有没有更好的SQL作业的提交方式？
2、既然flink1.12 已经实现批流一体，要实现即席查询怎么提交SQL呢？
3、SQL Client Gateway 社区大概啥时候发布？能够生产可用？
报错信息如下：
java.lang.IllegalArgumentException: Can not set long field
com.xxx.buzz.pojo.AbstractDrRecord.timestamp to null value
at sun.reflect.UnsafeFieldAccessorImpl.throwSetIllegalArgumentException(
UnsafeFieldAccessorImpl.java:167)
at
在sql-client-defaults.yaml配置hive catalog信息后，无法通过sql-client.sh embedded启动sql
client
报错信息：https://imgchr.com/i/smQrlj
flink 版本，1.12
hive 版本，3.1.0
HI ， 请问当一个算子会被多次使用时,怎么把他缓存住，类似于spark的cache操作
val env = getBatchEnv
val ds = env.fromElements("a","b","c")
val ds2 = ds.map(x=>{
println("map op")
x.charAt(0).toInt+1
})
//此操作会打印三遍map op
ds2.print()
//此操作又会打印三遍map op
ds2.filter(_>100).print()
好的，我研究一下，谢谢指导~
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
1、是自研的
2、定时调度
http://hadoop.apache.org/docs/r2.8.5/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Applications_API
在 2021-01-07 16:15:25，"bradyMk" 写道：
>Hi~
>请教一下：
>①您说的这个实时计算平台是你们自研的么？
>②每分钟调用yarn的rest api 获取作业状态，您是怎么实现的呢？是定时脚本么？我没调用过yarn的rest api ，还不懂改如何调用。。。
>
>
>
>-
Hi~Yun Tang大佬~
不是很理解为什么监控这个指标需要维护状态？该维护什么状态？怎么去维护呢？
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi~
请教一下：
①您说的这个实时计算平台是你们自研的么？
②每分钟调用yarn的rest api 获取作业状态，您是怎么实现的呢？是定时脚本么？我没调用过yarn的rest api ，还不懂该如何调用。。。
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi~
请教一下：
①您说的这个实时计算平台是你们自研的么？
②每分钟调用yarn的rest api 获取作业状态，您是怎么实现的呢？是定时脚本么？我没调用过yarn的rest api ，还不懂改如何调用。。。
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
25 matches
Mail list logo
