flink on yarn??????????log4j????

hi all flink??log4jlog4j ?? ??

回复：flink sql 依赖隔离

这边目前主要还是yarn，目前痛点是同一个sql任务会用到多个udf，udf通过-C http://xxx.jar进行加载 udf和sql jar之间、udf和udf之间都可能会有依赖冲突， 目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突 -- 发件人：Michael Ran 发送时间：2021年7月22日(星期四) 20:07 收件人：user-zh ; silence

Re:flink时态表：两个Hbase左关联有报错情况

java.util.concurrent.ExecutionException: java.lang.NoClassDefFoundError: org/apache/flink/hbase/shaded/org/apache/commons/io/IOUtils缺jar 在 2021-07-14 09:39:53，"xie_guo...@163.com" 写道： >您好，有关flinkSQL时态表左关联时遇到了问题。 >具体场景： > >

Re:flink ??????????????

?? ?? 2021-07-13 17:31:19??"" <1510603...@qq.com.INVALID> ?? >Hi All?? > > > ??Flink >checkpoint??2min??

Re:请教on yarn per job 作业采集日志进行监控方案

简单的可以先监控任务状态，重启次数这种，消息延迟等这种能直接api拿到值的， 其他指标的比较麻烦，特别是task多了，算子多，还要合并 在 2021-07-21 11:32:31，"yihan xu" 写道： >原本作业基本处于半裸奔的状态，最近线上出了一次小事故后，在考虑如何实时采集作业日志或者metric再配置告警。 >网上初步搜了一下，好像就是prometheus+grafana或者elk。 > >请教各位大佬的项目目前都是用什么方式，我们小公司就我一个人搞flink，半路出家水平也有限，请大佬们推荐个易维护坑少点的方式？谢谢。 > >发自我的iPhone > >

Re: Flink kafka自定义metrics在influxdb上解析失败

Hi！ 是通过什么方式拿到 sink table name 呢？从报错信息来看，拿到的可能并不是“a” 这样的 table name，而是一个 insert 语句的 digest，因此 metric 表名会变得比较复杂，导致解析错误。 当然也可以选择对 metric 表名进行转义。 Jimmy Zhang 于2021年7月23日周五 上午10:11写道： > 大家好，Flink版本1.13.1。 > 我在FlinkKafkaProducer的invork方法中，创建了一个counter，它采用sinkTableName+_receive_count作为最终的metric >

Re:Re: flink sql 依赖隔离

我看阿里不是传到OSS，然后每个任务 image 拉取下来的时候顺便就把jar 拉进来了。完全隔离的，jar 也方便管理 在 2021-07-22 23:45:14，"Jeff Zhang" 写道： >Zeppelin 支持依赖的动态加载 >https://www.yuque.com/jeffzhangjianfeng/gldg8w/rn6g1s >https://www.yuque.com/jeffzhangjianfeng/gldg8w/dthfu2 > > >Michael Ran 于2021年7月22日周四 下午8:07写道： > >>

Re: flink 1.13.1 再次查询row(a, b)生成的列时报错

Hi！ 关于问题一（如何配置 row 的字段名），可以通过 cast 语句： select cast(row(f_sequence, f_random) as row) as c from datagen 关于问题二，看起来确实是一个 bug，可以去 https://issues.apache.org/jira/projects/FLINK/issues 上开一个 ticket Asahi Lee <978466...@qq.com.invalid> 于2021年7月22日周四 下午8:44写道： > hi！ > 1. 我在使用flink 1.13.1

Re: k8s session模式SQLclient怎样连接

Hi！ 可以考虑把 k8s session 的 flink rest api 地址暴露出来，然后客户端把 execution.target 设为 remote，rest.address 和 rest.port 设为相应地址。 maker_d...@foxmail.com 于2021年7月22日周四 下午9:46写道： > 大家好， > 我将flink部署在k8s集群上，使用官方文档上的session模式进行部署，可以正常提交任务。 > 现在我想使用sqlclient，在提交任务时提示 ： > [ERROR] Could not execute SQL

Flink kafka自定义metrics在influxdb上解析失败

大家好，Flink版本1.13.1。 我在FlinkKafkaProducer的invork方法中，创建了一个counter，它采用sinkTableName+_receive_count作为最终的metric 表名，并且采用influxDB作为上报终端，其中，sinkTableName是从catalog信息里拿到的，我从构造中一层层传递进去。 但是发现一个奇怪的问题：当我采用简单的形如insert into a select from b where b.c='d'的SQL语句时，influxDB中的表可以成功被建出来； 但如果加上UDF，比如 insert into a

Re: flink sql 依赖隔离

Zeppelin 支持依赖的动态加载 https://www.yuque.com/jeffzhangjianfeng/gldg8w/rn6g1s https://www.yuque.com/jeffzhangjianfeng/gldg8w/dthfu2 Michael Ran 于2021年7月22日周四 下午8:07写道： > 通过任务进行隔离引用呗。你们美团已经是k8s了吧？ > 在 2021-07-05 14:06:53，"silence" 写道： > >请教大家目前flink sql有没有办法做到依赖隔离 > >比如connector，format，udf(这个最重要)等，

k8s session模式SQLclient怎样连接

大家好， 我将flink部署在k8s集群上，使用官方文档上的session模式进行部署，可以正常提交任务。 现在我想使用sqlclient，在提交任务时提示 ： [ERROR] Could not execute SQL statement. Reason: java.net.UnknownHostException: flink-cluster 请问大家，如何使用sqlclient连接k8s上的flink session。 flink版本 1.12.4. maker_d...@foxmail.com

flink 1.13.1 ????????row(a, b)??????????????

hi?? 1. flink 1.13.1 ??row(a,b)bug?? 2. rowrowrowname??name ?? package test; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import

Re:flink sql 依赖隔离

通过任务进行隔离引用呗。你们美团已经是k8s了吧？ 在 2021-07-05 14:06:53，"silence" 写道： >请教大家目前flink sql有没有办法做到依赖隔离 >比如connector，format，udf(这个最重要)等， >很多情况下不同用户定义的组件会经常混用，会有很多的依赖冲突问题难以解决。 >目前有没有办法做到udf的依赖隔离（比如不同的udf使用独立的jar和classloader），或者社区对此有没有什么规划

Re:Re: flink大窗口性能问题

并行度改大，窗口时间小点呗 在 2021-07-15 11:52:12，"Wanghui (HiCampus)" 写道： >并行度增大也可以吗？ > > > >On 2021/07/15 02:45:18, "Michael Ran" mailto:g...@163.com>> >wrote: > >> 要么内存增大，或者并行增大，要么窗口改小，同时保留数据时间减少> > >> 在 2021-07-15 10:23:25，"Hui Wang" >> <46...@qq.com.INVALID> 写道：> > >>

Re: 请教union算子union多个source 流时的健壮性如何保证

Hi！ “某几条 stream 异常挂掉后，而不影响其他流的 union”，指的是如果其中几个 stream 出现问题，则无视这些 stream 的输入，只处理正常 stream 的输入吗？ 如果是的话，目前 Flink 应该暂时没有这样的功能。可以考虑写一个自己的 mq connector，当 mq 有异常发生时则让 source 不再产生数据，而不是抛出错误。 Fisher Xiang 于2021年7月21日周三 下午11:14写道： > > 请问大家在使用 union算子union多个 stream时，比如 stream1.union(stream2, stream3, …