Re: Re: 关于flink table store的疑问

2022-09-09 文章 Jing Ge
我理解,目前大的目标是为了流批一体,设计上实际上是对存储进行了抽象,从某种角度上来看可以理解为存储虚拟化,未来的想象空间要大很多。Iceberg,Hudi这些可以作为底层对接的一种具体实现。 On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote: > Hi,我理解Flink table store主要有以下几个优势: > 1、减少架构复杂性,不需要额外引入多余的组件 > 2、支持Flink计算中直接使用Flink table store的存储 > 3、毫秒级流式查询和olap能力 > > > > > -- > > Best! >

Re:Re: 关于 UDAF 里面 ListView 的疑问

2022-09-09 文章 Xuyang
Hi,可以尝试下在createAccumulator中打个断点,然后一步步看为啥在getValue的时候acc变成null了。 我理解如果是“使用 ListView 时,无法正常获得 TypeInference”的话,应该报错,而不应该正确执行但是后面突然null了。 如果确定是某个地方发生了问题的话,可以在jira里贴一个issue[1]向社区反馈这个问题 ;) [1]https://issues.apache.org/jira/projects/FLINK/summary -- Best! Xuyang 在 2022-09-08

Re:Re: 关于flink table store的疑问

2022-09-09 文章 Xuyang
Hi,我理解Flink table store主要有以下几个优势: 1、减少架构复杂性,不需要额外引入多余的组件 2、支持Flink计算中直接使用Flink table store的存储 3、毫秒级流式查询和olap能力 -- Best! Xuyang 在 2022-09-08 16:09:39,"r pp" 写道: >应该是为了 流批一体 。不丢数据 > >Kyle Zhang 于2022年9月8日周四 08:37写道: > >> Hi all, >> 看table >>

Re:这里为什么会报null指针错误,和源表数据有关系吗?

2022-09-09 文章 Xuyang
Hi,看上去是遇到了一条脏数据,问一下是在运行了一段时间之后突然报错的嘛? -- Best! Xuyang At 2022-09-09 11:46:47, "Asahi Lee" wrote: >2022-09-09 11:36:42,866 INFO >org.apache.flink.runtime.executiongraph.ExecutionGraph >[] - Source: HiveSource-ods_jt_hrs.ods_hrmis_HR_EMPL_Education (1/1)

Re:flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 设计的考虑是啥?

2022-09-09 文章 Xuyang
Hi,主要是pull模型:下游主动拉取上游的数据。可以在下游的消费能力达到极限时,通过反压机制,让上游减少生产的数据。 -- Best! Xuyang 在 2022-09-09 19:04:27,"郑 致远" 写道: >各位大佬好 >请教下, >flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 这么设计的考虑是啥呢?

flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 设计的考虑是啥?

2022-09-09 文章 郑 致远
各位大佬好 请教下, flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 这么设计的考虑是啥呢?

回复: Re: Key group is not in KeyGroupRange

2022-09-09 文章 junjie.m...@goupwith.com
Integer[] rebalanceKeys = createRebalanceKeys(parallelism); int rebalanceKeyIndex = new Random().nextInt(parallelism); Integer key = rebalanceKeys[rebalanceKeyIndex]; /** * 构建均衡 KEY 数组 * * @param parallelism 并行度 * @return */ public static Integer[]

Re: Re: Key group is not in KeyGroupRange

2022-09-09 文章 junjie.m...@goupwith.com
key selector中使用random.nextInt(parallelism) 有时会报错 缪俊杰 成就客户 | 团队合作 开放进取 | 务实 诚信 用心 上海致宇信息技术有限公司 Shanghai Hex Information Technology Co,. Ltd. 地址:上海市徐汇区桂平路418号漕河泾国际孵化中心A区2601室 电话:021-64958718 手机:17858939731 传真:021-64958710 邮编:200233 网站:www.goupwith.com From: yue ma Date: 2022-09-09 17:41 To:

Re: Key group is not in KeyGroupRange

2022-09-09 文章 yue ma
你好,可以看一下使用的 key selector 是否稳定,key 是否会变化。 junjie.m...@goupwith.com 于2022年9月9日周五 17:35写道: > hi: > 本人遇到了这个报错: > Key group 51 is not in KeyGroupRange{startKeyGroup=64, endKeyGroup=127}. > Unless you're directly using low level state access APIs, this is most > likely caused by non-deterministic

??????Key group is not in KeyGroupRange

2022-09-09 文章 ????
?? piao289108...@vip.qq.com ---- ??: "user-zh"

Key group is not in KeyGroupRange

2022-09-09 文章 junjie.m...@goupwith.com
hi: 本人遇到了这个报错: Key group 51 is not in KeyGroupRange{startKeyGroup=64, endKeyGroup=127}. Unless you're directly using low level state access APIs, this is most likely caused by non-deterministic shuffle key (hashCode and equals implementation). 这个报错出现的莫名其妙,想了解这个错误是在什么样的情况下才会导致这个报错的? 谢谢!!

??????Re: ????????????????????????

2022-09-09 文章 ????
?? https://www.cnblogs.com/zhikou/p/8537074.html#3954115 piao289108...@vip.qq.com ---- ??:

Re:回复:Re: 用什么工具展示实时报表?

2022-09-09 文章 郑垚(ZhengYao)
有相关的文章博客可以参考一下吗 在 2022-09-02 09:46:17,"张洋" <289108...@qq.com.INVALID> 写道: >实时报表要体现随时间变化的数据,所以这种复杂多变的数据,建议入库到prometheus,然后用grafana做数据源引入,利用sql查询出各种样式的实时数据,您可以设置1s刷新一次页面,更新数据展示结构 > > > > >张洋 >piao289108...@vip.qq.com > > > > > > > > >--原始邮件-- >发件人: