Re: 如何按照数据量,可用内存,核为flink job分配合适的资源

2021-08-23 文章 张锴
不是,你应该认错了 yidan zhao 于2021年8月24日周二 下午12:50写道: > 你是zhangkai30吗~ > > 张锴 于2021年8月24日周二 上午11:16写道: > > > 我们数据量大概一天6个T,只做一个简单的处理,不涉及计算,在资源够用的情况下,用命令行的方式启动flink job > > 需要给多少比较合适,比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ,并行度p, > > 具体是怎么考虑的呢? > > > > 对于大规模的数据量经验还比较浅,有大佬给指明一下吗 > > >

Re: 如何按照数据量,可用内存,核为flink job分配合适的资源

2021-08-23 文章 yidan zhao
你是zhangkai30吗~ 张锴 于2021年8月24日周二 上午11:16写道: > 我们数据量大概一天6个T,只做一个简单的处理,不涉及计算,在资源够用的情况下,用命令行的方式启动flink job > 需要给多少比较合适,比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ,并行度p, > 具体是怎么考虑的呢? > > 对于大规模的数据量经验还比较浅,有大佬给指明一下吗 >

如何按照数据量,可用内存,核为flink job分配合适的资源

2021-08-23 文章 张锴
我们数据量大概一天6个T,只做一个简单的处理,不涉及计算,在资源够用的情况下,用命令行的方式启动flink job 需要给多少比较合适,比如jobmanager内存 ,taskmanager内存, slot , taskmanager数量 ,并行度p, 具体是怎么考虑的呢? 对于大规模的数据量经验还比较浅,有大佬给指明一下吗