我理解,目前大的目标是为了流批一体,设计上实际上是对存储进行了抽象,从某种角度上来看可以理解为存储虚拟化,未来的想象空间要大很多。Iceberg,Hudi这些可以作为底层对接的一种具体实现。
On Fri, Sep 9, 2022 at 2:44 PM Xuyang wrote:
> Hi,我理解Flink table store主要有以下几个优势:
> 1、减少架构复杂性,不需要额外引入多余的组件
> 2、支持Flink计算中直接使用Flink table store的存储
> 3、毫秒级流式查询和olap能力
>
>
>
>
> --
>
> Best!
>
Hi,可以尝试下在createAccumulator中打个断点,然后一步步看为啥在getValue的时候acc变成null了。
我理解如果是“使用 ListView 时,无法正常获得 TypeInference”的话,应该报错,而不应该正确执行但是后面突然null了。
如果确定是某个地方发生了问题的话,可以在jira里贴一个issue[1]向社区反馈这个问题 ;)
[1]https://issues.apache.org/jira/projects/FLINK/summary
--
Best!
Xuyang
在 2022-09-08
Hi,我理解Flink table store主要有以下几个优势:
1、减少架构复杂性,不需要额外引入多余的组件
2、支持Flink计算中直接使用Flink table store的存储
3、毫秒级流式查询和olap能力
--
Best!
Xuyang
在 2022-09-08 16:09:39,"r pp" 写道:
>应该是为了 流批一体 。不丢数据
>
>Kyle Zhang 于2022年9月8日周四 08:37写道:
>
>> Hi all,
>> 看table
>>
Hi,看上去是遇到了一条脏数据,问一下是在运行了一段时间之后突然报错的嘛?
--
Best!
Xuyang
At 2022-09-09 11:46:47, "Asahi Lee" wrote:
>2022-09-09 11:36:42,866 INFO
>org.apache.flink.runtime.executiongraph.ExecutionGraph
>[] - Source: HiveSource-ods_jt_hrs.ods_hrmis_HR_EMPL_Education (1/1)
Hi,主要是pull模型:下游主动拉取上游的数据。可以在下游的消费能力达到极限时,通过反压机制,让上游减少生产的数据。
--
Best!
Xuyang
在 2022-09-09 19:04:27,"郑 致远" 写道:
>各位大佬好
>请教下,
>flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 这么设计的考虑是啥呢?
各位大佬好
请教下,
flink 的数据传输,是上游算子推给下游, 还是下游算子拉取上游, 这么设计的考虑是啥呢?
Integer[] rebalanceKeys = createRebalanceKeys(parallelism);
int rebalanceKeyIndex = new Random().nextInt(parallelism);
Integer key = rebalanceKeys[rebalanceKeyIndex];
/**
* 构建均衡 KEY 数组
*
* @param parallelism 并行度
* @return
*/
public static Integer[]
key selector中使用random.nextInt(parallelism) 有时会报错
缪俊杰
成就客户 | 团队合作 开放进取 | 务实 诚信 用心
上海致宇信息技术有限公司
Shanghai Hex Information Technology Co,. Ltd.
地址:上海市徐汇区桂平路418号漕河泾国际孵化中心A区2601室
电话:021-64958718
手机:17858939731
传真:021-64958710
邮编:200233
网站:www.goupwith.com
From: yue ma
Date: 2022-09-09 17:41
To:
你好,可以看一下使用的 key selector 是否稳定,key 是否会变化。
junjie.m...@goupwith.com 于2022年9月9日周五 17:35写道:
> hi:
> 本人遇到了这个报错:
> Key group 51 is not in KeyGroupRange{startKeyGroup=64, endKeyGroup=127}.
> Unless you're directly using low level state access APIs, this is most
> likely caused by non-deterministic
??
piao289108...@vip.qq.com
----
??:
"user-zh"
hi:
本人遇到了这个报错:
Key group 51 is not in KeyGroupRange{startKeyGroup=64, endKeyGroup=127}. Unless
you're directly using low level state access APIs, this is most likely caused
by non-deterministic shuffle key (hashCode and equals implementation).
这个报错出现的莫名其妙,想了解这个错误是在什么样的情况下才会导致这个报错的?
谢谢!!
??
https://www.cnblogs.com/zhikou/p/8537074.html#3954115
piao289108...@vip.qq.com
----
??:
有相关的文章博客可以参考一下吗
在 2022-09-02 09:46:17,"张洋" <289108...@qq.com.INVALID> 写道:
>实时报表要体现随时间变化的数据,所以这种复杂多变的数据,建议入库到prometheus,然后用grafana做数据源引入,利用sql查询出各种样式的实时数据,您可以设置1s刷新一次页面,更新数据展示结构
>
>
>
>
>张洋
>piao289108...@vip.qq.com
>
>
>
>
>
>
>
>
>--原始邮件--
>发件人:
13 matches
Mail list logo