Re: flink 维表关联

2019-12-25 Thread 李现 
流的大小应该不是无限制的，应该是有个窗口期？窗口期之外的数据离线处理？

xin Destiny 于2019年12月25日 周三18:13写道：

> Hi，lucas.wu:
>
> 我个人觉得可以把join的条件和流对应的数据存放在mapstate中，每次维表的缓存更新数据之后，去mapstate中查询，如果存在对应的KV，将新关联后的数据下发；
> 不过这样state会占用很大的内存，需要主意state的清理
>
> lucas.wu  于2019年12月25日周三 下午5:13写道：
>
> > hi all：
> > flink的kafka流表与hbase维表关联，维表后面有变动的话，如何将之前关联过的数据进行更新？
>

Re: flink跨集群kerberos认证问题

2019-12-18 Thread 李现 
是配置了：keytab和principal两个配置吗

Leslie Yuen 于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现  写道：
> >
> > 各位好，
> >flink集群跨集群无法通过kerberos认证。
> >集群1：flink集群，无kerberos认证
> >集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>

Re: flink跨集群kerberos认证问题

2019-12-18 Thread 李现 
这个方法我试过，如果是在应用集群的flink配置好conf文件，flinkjob初始化以及checkpoint存储需要和本地的hdfs交互，这样也是会遇到问题。就是client是security，server（本地hdfs）是simple，这样也是会抛异常。

Leslie Yuen 于2019年12月19日 周四08:35写道：

>
> 遇到过同样的问题，最后的解决办法就是直接在应用的集群中配置好flink-conf.yaml文件，代码中不需要额外加入认证代码就可以了。我测试通过的是消费写入带kerberos认证的Kafka
>
> > 在 2019年12月18日，23:05，李现  写道：
> >
> > 各位好，
> >flink集群跨集群无法通过kerberos认证。
> >集群1：flink集群，无kerberos认证
> >集群2：hadoop2.6.0集群，有kerberos认证
> >
> 集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
> > 现在没有什么思路，希望有经验的朋友提点下，不胜感激。
>

flink跨集群kerberos认证问题

2019-12-18 Thread 李现 
各位好，
flink集群跨集群无法通过kerberos认证。
集群1：flink集群，无kerberos认证
集群2：hadoop2.6.0集群，有kerberos认证
集群1数据到集群2hdfs，用的是bucketingsink，无法通过kerberos认证。按照官方文档的配置，如果是在一个集群是能通过验证的。
现在没有什么思路，希望有经验的朋友提点下，不胜感激。