Re: 如何 Flink 通过不同的hive_catalog,访问离线和实时两套集群的hive?

2021-09-02 文章 Jim Chen
你好, 你说的这些问题,不同集群的配置文件和hive版本,我都注意到了。 我们这边2套集群的版本都是一样的,配置文件,我也确认过是两套集群的 我的catalog配置文件如下: catalogs: # empty list - name: hive_raltime_catalog #实时集群 type: hive hive-conf-dir: /usr/hdp/3.1.5.0-152/hive/conf/ default-database: default hadoop-conf-dir: /usr/hdp/3.1.5.0-1

回复: Re:flink checkpoint 到hdfs 报错

2021-09-02 文章 chengyanan1...@foxmail.com
你这个,重点报错原因是这个吧: org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /flink/flink-cdc-demo/13714486ceb74d650ba104df7b202920/chk-1/_metadata could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation. che

Re:Flink OperatorChain AsyncWaitOperator

2021-09-02 文章 张蛟
可以阅读 StreamingJobGraphGenerator.isChainable()方法来详细了解chain的规则,具体到AsyncWaitOperator,应该与FLINK-13063 有关 在 2021-09-02 14:05:52,"lpengdr...@163.com" 写道: >Hi: > >请教下Flink的operator-chain的机制, >我看AsyncWaitOperator的chainingStrategy是ALWAYS,但是实际使用发现在所有算子并行度都设置为1的情况下这个operator没有办法和上游算子chain串起来只能跟下游的算子slot共享

Re: 未生成水位线

2021-09-02 文章 Shuo Cheng
Hello, 注意到你设置了 `table.exec.source.idle-timeout`, 需要注意的是这个参数是 table 层的参数, 需要确认你的设置方式是否生效. On Fri, Jan 29, 2021 at 5:41 PM 沉醉寒風 <1039601...@qq.com> wrote: > 有的 > > > > kafka 是3个分区, 但是只有一个分区有数据, flink是3个并行度 > > -- 原始邮件 -- > *发件人:* "user-zh" ; > *发送时间:* 2021年1月29日(星期五)