向社区提交代码怎么自己验证
hi，我在向社区提交PR时，提示build失败（https://github.com/apache/flink/pull/9749#issuecomment-534149758） 我应该怎么做？在提交PR之前我可以执行什么脚本先在本地进行build测试吗？ -- gaofeilong198...@163.com
Re:一个FlinkJob消费多个kafka topic消息问题
不想使用datastream union的前提下 如果是同一个kafka topic，那么用flink里边的filter或者split算子，对不同的数据分流后，给自己处理即可 如果是不同的topic，可以用循环，在循环里边处理每一个topic的数据，最后在循环外边做env.execute即可 -- gaofeilong198...@163.com 在 2019-08-29 16:10:50，"史 正超" 写道： >1.平常工作中经常会有同一个统计表中会包含多个不同的统计指标,比如：post_count, send_count >2.然而这些指标来自不同的kafka 消息体 >3.有没有在不用uninon all的情况下，向sink 表中写入各自topic的数据，因为union all有很多0值来填充 >
Re:Re: 全局并行度和算子并行度的关系
首先，如果在代码里setParallelism(n)指定的并发度大于在命令行里边指定的并发，那么会以代码中指定的并发为准。在你的场景下边，启动的时候指定1个slot，但是算子代码setParallelism(2)，那么一共会启动2个slot，但是除了这个setParallelism(2)的算子外，其他的都是按照1的并发执行（命令行参数），只有这个算子的并发是2（代码参数）。 另外，任务整理的资源占用情况是以最大并发占用的资源为准的，例如你这个例子，任务整体需要2个slot，上下游算子可以服用同一个slot 我用的是flink-1.7 -- gaofeilong198...@163.com 在 2019-08-29 14:02:20，"ddwcg" <3149768...@qq.com> 写道： >谢谢您的回复，那如果启动的时候只给了一个solt，算子并行度设置为2，最终也是按并行度为1去执行呢 > >> 在 2019年8月29日，10:54，pengcheng...@bonc.com.cn 写道： >> >> 你好，以我的理解，并行度的优先级setParallelism>命令>配置文件。 >> 每个算子有多个并行度的话，每个并行度占一个slot。 >> flink sql无法设置并行度。 >> >> >> >> pengcheng...@bonc.com.cn >> >> 发件人： ddwcg >> 发送时间： 2019-08-29 10:18 >> 收件人： user-zh >> 主题： 全局并行度和算子并行度的关系 >> hi， >> 请问在作业启动时设置的并行度，和后面算子的并行度是什么关系？ >> 比如启动时设置为1，map算子设置为5，map(...).setParallelism(5)，这个算子并行度的设置会起作用吗（因为它大于全局设置的1）？ >> 启动时设置的并行数是slot的个数，每个slot的资源是固定的（比如是1G内存），那么后面的算子增加了并行度，资源怎么划分？ >> >> 另外flink sql的并行度是怎么设置的，我没有发现有setParallelism，只有一个最大并行度的设置:setMaxParallelism() >> >> >> >> 谢谢 >> >> >> >> >> >
Re:回复： flink日志级别问题
我也遇到同样的问题，目的是希望在web上只看到error的日志，我们不用es -- 高飞龙 手机 +86 18710107193 gaofeilong198...@163.com 在 2019-08-27 19:51:35，"王金海" 写道： >可以日志同步到ES，然后检索error类型的 >至于是否可以代码自定义，自己也没试过 > > >csbl...@163.com >Have a nice day ! > > >在2019年08月27日 19:46，王金海 写道： >日志同步到ES，然后检索error类型的 >至于是否可以代码自定义，就不太清楚了 > > >csbl...@163.com >Have a nice day ! > > >在2019年08月27日 19:29，Zili Chen 写道： >另一种思路如果可以 download 日志的话可以直接文本处理挑出 ERROR 日志（x > >Best, >tison. > > >陈思 <58683...@qq.com> 于2019年8月27日周二 下午6:56写道： > >目的：调整flink作业日志级别为ERROR > > >背景：公司提交flink作业只能通过公司的可视化平台，因此不能修改集群上的log4j.properties文件，现在的日志级别是INFO，日志太多不方便排错 > >目前情况：打算在代码中设置日志级别，使用LogManager.getRootLogger().setLevel(Level.ERROR);在算子的open方法中填入上述代码。但依然会输出INFO日志，请问大神们有什么解决方案吗？
