你好,
你说的这些问题,不同集群的配置文件和hive版本,我都注意到了。
我们这边2套集群的版本都是一样的,配置文件,我也确认过是两套集群的
我的catalog配置文件如下:
catalogs: # empty list
- name: hive_raltime_catalog #实时集群
type: hive
hive-conf-dir: /usr/hdp/3.1.5.0-152/hive/conf/
default-database: default
hadoop-conf-dir: /usr/hdp/3.1.5.0-1
你这个,重点报错原因是这个吧:
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File
/flink/flink-cdc-demo/13714486ceb74d650ba104df7b202920/chk-1/_metadata could
only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s)
running and 3 node(s) are excluded in this operation.
che
可以阅读
StreamingJobGraphGenerator.isChainable()方法来详细了解chain的规则,具体到AsyncWaitOperator,应该与FLINK-13063
有关
在 2021-09-02 14:05:52,"lpengdr...@163.com" 写道:
>Hi:
>
>请教下Flink的operator-chain的机制,
>我看AsyncWaitOperator的chainingStrategy是ALWAYS,但是实际使用发现在所有算子并行度都设置为1的情况下这个operator没有办法和上游算子chain串起来只能跟下游的算子slot共享
Hello, 注意到你设置了 `table.exec.source.idle-timeout`, 需要注意的是这个参数是 table 层的参数,
需要确认你的设置方式是否生效.
On Fri, Jan 29, 2021 at 5:41 PM 沉醉寒風 <1039601...@qq.com> wrote:
> 有的
>
>
>
> kafka 是3个分区, 但是只有一个分区有数据, flink是3个并行度
>
> -- 原始邮件 --
> *发件人:* "user-zh" ;
> *发送时间:* 2021年1月29日(星期五)