你好,
你说的这些问题,不同集群的配置文件和hive版本,我都注意到了。
我们这边2套集群的版本都是一样的,配置文件,我也确认过是两套集群的
我的catalog配置文件如下:
catalogs: # empty list
- name: hive_raltime_catalog #实时集群
type: hive
hive-conf-dir: /usr/hdp/3.1.5.0-152/hive/conf/
default-database: default
hadoop-conf-dir: /usr/hdp/3.1.5.0-1
你好,
这个看起来是Hadoop的报错,连接失败的这个节点是NameNode么?创建HiveCatalog时可以指定Hadoop的配置文件的,要保证两个HiveCatalog读到的Hadoop配置是正确的。
另外使用多个HiveCatalog需要保证hive版本一致,不同版本的hive没办法一起用
On Fri, Aug 27, 2021 at 3:01 PM Jim Chen
wrote:
> Hi
>
> 集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口
>
> Caizhi Weng 于2021年8月27日周五 下午2:33写道:
>
Hi, Caizhi
你们有实时集群和离线集群分离的场景吗?你们是怎么做的?
Caizhi Weng 于2021年8月27日周五 下午2:33写道:
> Hi!
>
> 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看?
>
> Jim Chen 于2021年8月27日周五 下午1:59写道:
>
> > Hi, All
> >
> >
> 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线
Hi
集群上根本没有这个端口,也不知道这个端口是干嘛用的,为啥要连这个。这个是实时集群上的端口
Caizhi Weng 于2021年8月27日周五 下午2:33写道:
> Hi!
>
> 看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看?
>
> Jim Chen 于2021年8月27日周五 下午1:59写道:
>
> > Hi, All
> >
> >
> 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_cat
Hi!
看起来是 Flink 集群不能访问到 wx12-dsjrt-master001/xx.xx.xx.xx:8050,检查一下网络以及这个端口的状态看看?
Jim Chen 于2021年8月27日周五 下午1:59写道:
> Hi, All
>
> 我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。
> 按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如:
> 2021-08-27 13:50:22,902 INFO org.apache
Hi, All
我是使用的flink1.13.1版本,我们有2套Hadoop集群,离线和实时集群。现在实时集群上的任务,想通过hive_catalog访问离线集群。
按照官网例子,我分别配置离线和实时的hive-conf-dir的不同路径,发现一只报错。如:
2021-08-27 13:50:22,902 INFO org.apache.hadoop.ipc.Client
[] - Retrying connect to server:
wx12-dsjrt-master001/xx.xx.xx.xx:8050. Already tried 6 ti