flink web UI job overview 中的算子记录条数不更新

[zhiyuan su]

Hello,麻烦问下，为啥算子链 默认合并之后，数据更新，算子对应的接收和发送记录数不更新，一直显示为0.

图片发送了看不到，请看附件

Re: 回复：flink1.13.1 sql client connect hivecatalog 报错

[zhiyuan su]

感谢，我已经解决了。
更换了jdk 版本，重新替换了插件包

RS  于2021年11月22日周一 下午1:44写道：

> 图片看不到的，尽量不要发图片，你可以复制文字出来并说明下，
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-11-22 13:14:13，"zhiyuan su"  写道：
>
> 我使用的是上面的jar 包。从1.13的文档处获取的，但维标注flink 版本，我理解应该是flink1.13版本编译的。
>
>
>
> 这个是yaml文件，我直接在sql 客户端，通过DDL 的方式去编写的话，也是如下报错：
> Caused by: java.util.ServiceConfigurationError:
> org.apache.flink.table.factories.Factory:
> org.apache.flink.table.module.hive.HiveModuleFactory not a subtype
>

Re: 如何实现event triggered window？

[zhiyuan su]

感觉你的场景是近实时累计统计，你可以参考下window TVF 看下是否满足
https://flink-learning.org.cn/article/detail/a8b0895d4271bf6b770927eea214612d?tab=SQL&page=1
具体在第2章第一节

Pinjie Huang  于2021年11月22日周一 下午3:52写道：

> Hi friends，
>
> Flink 自带的window 有tumlbing sliding 和 session 但是似乎没有event triggerred。
>
> 比如说 想知道过去1小时event A trigger的次数，
>
> 如果使用tumbling window和1h window
> ｜1h | 1h |
> t=0
> 在t=1.5h时刻，读取数据，是t=1h 时刻过去一小时的数据，而不是实时的。
>
> 使用sliding window 的话需要define非常小的slide，而且依旧可能有延迟。
>
> 如果想知道实时的数据，需要基于event来更新state，如何实现event triggered window?
>

回复：flink1.13.1 sql client connect hivecatalog 报错

[zhiyuan su]

[image: image.png]
我使用的是上面的jar 包。从1.13的文档处获取的，但维标注flink 版本，我理解应该是flink1.13版本编译的。
[image: image.png]
这个是yaml文件，我直接在sql 客户端，通过DDL 的方式去编写的话，也是如下报错：

> Caused by: java.util.ServiceConfigurationError:
> org.apache.flink.table.factories.Factory:
> org.apache.flink.table.module.hive.HiveModuleFactory not a subtype
>

flink1.13.1 sql client connect hivecatalog 报错

[zhiyuan su]

Hello, friends !
   我按照官方文档使用 sql client 去连接hive catalog 时出错。
我的hive version 2.3.6
  Flink version 1.13.1

感觉官方介绍的bundled 方式添加jar 包，在flink/lib 下添加如下截图的包。然后重启集群，启动了sql-client
，连接报错如下，看报错感觉缺包，不知道缺什么包。第二种方式也尝试了下，一样的报错。似乎无法创建catalog
[image: image.png]
Yaml 文件：
[image: image.png]

Reading session environment from:
file:/Users/feng/flink-1.13.1/bin/../catlog_yaml/hiveCatalog.yaml


Exception in thread "main"
org.apache.flink.table.client.SqlClientException: Unexpected exception.
This is a bug. Please consider filing an issue.
   at
org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:201)
   at org.apache.flink.table.client.SqlClient.main(SqlClient.java:161)
Caused by: org.apache.flink.table.api.ValidationException: Unable to create
catalog 'myhive'.

Catalog options are:
'hive-conf-dir'='/Users/feng/hive-2.3.6/conf'
'type'='hive'
   at
org.apache.flink.table.factories.FactoryUtil.createCatalog(FactoryUtil.java:270)
   at
org.apache.flink.table.client.gateway.context.LegacyTableEnvironmentInitializer.createCatalog(LegacyTableEnvironmentInitializer.java:217)
   at
org.apache.flink.table.client.gateway.context.LegacyTableEnvironmentInitializer.lambda$initializeCatalogs$1(LegacyTableEnvironmentInitializer.java:120)
   at java.base/java.util.HashMap.forEach(HashMap.java:1336)
   at
org.apache.flink.table.client.gateway.context.LegacyTableEnvironmentInitializer.initializeCatalogs(LegacyTableEnvironmentInitializer.java:117)
   at
org.apache.flink.table.client.gateway.context.LegacyTableEnvironmentInitializer.initializeSessionState(LegacyTableEnvironmentInitializer.java:105)
   at
org.apache.flink.table.client.gateway.context.SessionContext.create(SessionContext.java:233)
   at
org.apache.flink.table.client.gateway.local.LocalContextUtils.buildSessionContext(LocalContextUtils.java:100)
   at
org.apache.flink.table.client.gateway.local.LocalExecutor.openSession(LocalExecutor.java:91)
   at org.apache.flink.table.client.SqlClient.start(SqlClient.java:88)
   at
org.apache.flink.table.client.SqlClient.startClient(SqlClient.java:187)
   ... 1 more
Caused by: org.apache.flink.table.api.TableException: Could not load
service provider for factories.
   at
org.apache.flink.table.factories.FactoryUtil.discoverFactories(FactoryUtil.java:507)
   at
org.apache.flink.table.factories.FactoryUtil.discoverFactory(FactoryUtil.java:298)
   at
org.apache.flink.table.factories.FactoryUtil.getCatalogFactory(FactoryUtil.java:455)
   at
org.apache.flink.table.factories.FactoryUtil.createCatalog(FactoryUtil.java:251)
   ... 11 more
Caused by: java.util.ServiceConfigurationError:
org.apache.flink.table.factories.Factory:
org.apache.flink.table.module.hive.HiveModuleFactory not a subtype
   at java.base/java.util.ServiceLoader.fail(ServiceLoader.java:589)
   at
java.base/java.util.ServiceLoader$LazyClassPathLookupIterator.hasNextService(ServiceLoader.java:1237)
   at
java.base/java.util.ServiceLoader$LazyClassPathLookupIterator.hasNext(ServiceLoader.java:1265)
   at
java.base/java.util.ServiceLoader$2.hasNext(ServiceLoader.java:1300)
   at
java.base/java.util.ServiceLoader$3.hasNext(ServiceLoader.java:1385)
   at java.base/java.util.Iterator.forEachRemaining(Iterator.java:132)
   at
org.apache.flink.table.factories.FactoryUtil.discoverFactories(FactoryUtil.java:503)
   ... 14 more