??1.
flinkkafkahdfshdfs??hive
??kafka??hdfs??managed
memory???
Hi,
图片挂掉了，能不能直接用文字描述配置文件？
Best,
Junrui
生于八十年代 <623730...@qq.com.invalid> 于2023年2月28日周二 18:31写道：
> 社区的各位大佬们有个问题咨询一下大家：
> 1.
> 问题背景：我们在使用flink读取消费kafka中的hdfs路径消息，然后从hdfs中读取文件，做完处理后写入hive，整个过程都是以流式的过程完成，而不是批处理的过程；
> 目前遇到的问题是任务运行一段时间之后，kafka就开始出现hdfs路径消息积压，目前发现managed
> memory区域消耗的内存非常大，占用了100%。但是我
Hi
根据邮件里的异常信息看了下代码，这里的RecordArea会从managed memory申请内存分片 你可以根据作业流量尝试调整下窗口大小或者内存分配
Best,
Shammon
On Tue, Feb 28, 2023 at 6:47 PM Junrui Lee wrote:
> Hi,
>
> 图片挂掉了，能不能直接用文字描述配置文件？
>
> Best,
> Junrui
>
> 生于八十年代 <623730...@qq.com.invalid> 于2023年2月28日周二 18:31写道：
>
> > 社区的各位大佬们有个问题咨询一下大家：
> > 1.
> >
退订
