??1.
flinkkafkahdfshdfs??hive
??kafka??hdfs??managed
memory???
Hi,
图片挂掉了,能不能直接用文字描述配置文件?
Best,
Junrui
生于八十年代 <623730...@qq.com.invalid> 于2023年2月28日周二 18:31写道:
> 社区的各位大佬们有个问题咨询一下大家:
> 1.
> 问题背景:我们在使用flink读取消费kafka中的hdfs路径消息,然后从hdfs中读取文件,做完处理后写入hive,整个过程都是以流式的过程完成,而不是批处理的过程;
> 目前遇到的问题是任务运行一段时间之后,kafka就开始出现hdfs路径消息积压,目前发现managed
> memory区域消耗的内存非常大,占用了100%。但是我
Hi
根据邮件里的异常信息看了下代码,这里的RecordArea会从managed memory申请内存分片 你可以根据作业流量尝试调整下窗口大小或者内存分配
Best,
Shammon
On Tue, Feb 28, 2023 at 6:47 PM Junrui Lee wrote:
> Hi,
>
> 图片挂掉了,能不能直接用文字描述配置文件?
>
> Best,
> Junrui
>
> 生于八十年代 <623730...@qq.com.invalid> 于2023年2月28日周二 18:31写道:
>
> > 社区的各位大佬们有个问题咨询一下大家:
> > 1.
> >
退订