现在有这样一个场景，我在同一台客户机上提交flink任务时，想要做到不同的任务的JobManager/TaskManager使用不同的log4j配置。于是通过命令行动态参数-Dlog4j.configurationFile=file:/Users/Documents/log4j.properties
设置，结果部署任务后发现配置没有生效，依然使用了FLINK_HOME/conf/log4j.properties。想问一下如何解决这个问题，还是说flink目前不支持通过动态参数方式配置log4j？
非常感谢解答。关于这套新的统一的cli命令的说明或者FLIP在哪里？
> 2022年4月11日 下午11:49，Zhanghao Chen 写道：
>
> 你好，-m 配合 -yxx 的参数是早期 Flink on YARN 的 cli 参数用法，后来社区开始推进一套新的统一的 cli 命令，使用 -t
> 指定部署形式，并将原先的 cli options 统一动态参数化，比如原先的 -yxx 命令都能从
>
退订
退订
在运行flink写入到kafka的时候提示如下错误
org.apache.kafka.common.config.ConfigException: Invalid value
org.apache.flink.kafka.shaded.org.apache.kafka.common.serialization.ByteArraySerializer
for configuration key.serializer: Class
??Hbae
API,Hbase,??Hbase
qq??
?0?2
?0?2??
???0?22019-04-06?0?216:38
?0?2user-zh
???0?2??HBase??IOsinkoutputFormat
HI,请教一个问题，SQL API,non window join 生成的 RetractStream，如何把不更新的数据 sink
出来（系统会自动清理掉超时的数据，我的需求是SINK 出来后再清理的掉），不知道Side Outputs
是否可以，如果可以该怎么做，如果不可以，有没有其它的方法，具体该怎么做，谢谢！
，在此希望我的经历能给大家一些提醒，谢谢。
在此 感谢龙三 的帮忙，和 谢谢大家的回复。。
邓成刚【qq】
发件人： 邓成刚【qq】
发送时间： 2019-03-29 17:18
收件人： user-zh
主题： Re: Re: 请教一下Blink资源分配问题
用的是table ， LOG里资源申请情况：
ResourceProfile{cpuCores=0.6, heapMemoryInMB=96, directMemoryInMB=0,
nativeMemoryInMB=0, networkMemoryInMB=2, MANAGED_MEMORY_MB=0.0
c3742a90378a264341e8d1a573c67535.
发件人： Guowei Ma
发送时间： 2019-03-29 17:12
收件人： user-zh
主题： Re: Re: 请教一下Blink资源分配问题
用的什么api，DataStream还是Table？
如果是DataStream的话，申请什么样的资源？
详细列下。
Best,
Guowei
邓成刚【qq】 于2019年3月29日周五 下午5:09写道：
> 是的。
>
> 发件人： moxian
> 发送时间： 2019-03-29 17:06
> 收件人： user-zh
> 主题：
是的。
发件人： moxian
发送时间： 2019-03-29 17:06
收件人： user-zh
主题： Re: 请教一下Blink资源分配问题
standalone 模式？
邓成刚【qq】 于2019年3月29日周五 上午9:59写道：
> 请教一下Blink资源分配问题：
> blink 任务并行度设置 20 提示0个满足：Batch request 40 slots, but only 0 are fulfilled.
> 调整到 3 并行度 提示：Batch request 6 slots, but only 4 are fulfilled
请教一下Blink资源分配问题：
blink 任务并行度设置 20 提示0个满足：Batch request 40 slots, but only 0 are fulfilled.
调整到 3 并行度 提示：Batch request 6 slots, but only 4 are fulfilled.，
但是我的TASK SLOTS有配 48，没有其它任务，
按理説没有资源问题啊,集群配置情况：
其它的都是默认配置：
taskmanager.numberOfTaskSlots: 24
jobmanager.heap.size: 20480m
# The heap size
请教一下，Blink 消费kafka数据时，把并行度设置 30 ，就会出现Timeout，JOB跑不起来，应该是没有消费到数据，把并行度调 到
5就没问题，另外，JOB用到4个TOPic,每个30个PARTITION，但是把这同样JOB提交给FLINK 设置 30 并行度
就可以跑起来，有哪位大佬知道什么情况吗？
通过测试发现，不是sql 脚本的问题，是并行度的问题，30个并行度不行，改成5就OK了。。。
env.setParallelism(5);
发件人： 邓成刚【qq】
发送时间： 2019-03-26 18:17
收件人： user-zh
主题： blink消费kafka出现诡异的情况，困扰很久了，哪位大佬知道怎么回事
HI,各位大佬：
发现一个很诡异的问题：使用SQL API时，在窗口上group by，JOB 5分钟后会timeout，但如果改成select *
就能正常消费kafka。。。
说明：本地模式和提交JOB均存在此异常
相关信息：
blink 1.5.1
HI,请教一个问题：
两个流无窗口的Join后生成的新流是一个更新流，怎么把它变成追加流然后-sink出去？
,1243296274875303847,"1c3.2729.20190327021200",XX,1553652720927835)
结论：true 是用来插入数据的，false 是用来删除数据的，出现false时一定会有一条之前插入的数据 。。。
邓成刚【qq】
发件人： 邓成刚【qq】
发送时间： 2019-03-26 18:40
收件人： user-zh
主题： Re: 回复: 实现 UpsertStreamTableSink, BatchTableSink 接口代码
不好意思，我理解错了，更正一下：
APPEND 流是没有这个字段的，只有更新流才有，true
不好意思，我理解错了，更正一下：
APPEND 流是没有这个字段的，只有更新流才有，true 表示 APPEND ，false 表示
update，这个值应该是流发出数据时自己带的，不是人为赋值的。。。
发件人： 邓成刚【qq】
发送时间： 2019-03-26 18:27
收件人： user-zh
主题： 回复: 实现 UpsertStreamTableSink, BatchTableSink 接口代码
这里面决定 update 或 delete 的 Boolean型值 怎么赋？
这里的 Boolean 值 是流类型决定，如果流是APPEND，则为true, update
这里面决定 update 或 delete 的 Boolean型值 怎么赋？
这里的 Boolean 值 是流类型决定，如果流是APPEND，则为true, update,为false，你直接打印流会有这个字段
不知道我的理解是否正确，期待大佬解答。。。
邓成刚【qq】
发件人： baiyg25...@hundsun.com
发送时间： 2019-03-26 18:02
收件人： user-zh
主题： 实现 UpsertStreamTableSink, BatchTableSink 接口代码
大家好！
伙伴们，附件有实现 blink 中 flink
HI,各位大佬：
发现一个很诡异的问题：使用SQL API时，在窗口上group by，JOB 5分钟后会timeout，但如果改成select *
就能正常消费kafka。。。
说明：本地模式和提交JOB均存在此异常
相关信息：
blink 1.5.1
kafka 1.1.1
flink-connector-kafka-0.11_2.11-1.5.1-sql-jar.jar
消费正常的code:
String sql = "select * from table1"
Table sip_distinct_event_id = tableEnv.sqlQuery(
SQL
qq??
?0?2
?0?2baiyg25...@hundsun.com
???0?22019-03-26?0?210:09
?0?2user-zh
???0?2: flink
??
??AB
看一下这里，是不是你想要的。。。
http://fetching118.com/article/5.html
邓成刚【qq】
发件人： 陈韬
发送时间： 2019-03-26 08:20
收件人： user-zh
主题： blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？
blink文档编译失败。有编译好的发布版本的blink文档，可以共享个访问地址吗？
谢谢
HI,flink SQL API，能不能指定应用哪些sql优化规则，我发现，双流在WINDOWS
下去重，再关联之前的流的场景下，优化规则10多分钟都跑不完（通过jstack 查看），最后OOM了，之前澄水帮我看了下，调整了参数 export
JVM_ARGS='-Xss8m' 还是没有用，建议 注释掉
FilterSetOpTransposeRule和ProjectSetOpTransposeRule。。。
Hi, everyone. I have a question. I would like to ask you a question.
Problem Description:
I have two tables (streams from kafka),Both tables define rowTime
attributes in EVENTTIME
table1(EVENTTIME,NEW_EVENT_ID,F4,F6)
table2(EVENTTIME,NEW_EVENT_ID,F2,F3)
now,I would like to
HI,all,
Ask a question, the number of fields in each table is not the same, but
some fields are the same. In the case of union all distinct after selecting the
same field, how can we ensure that the data of multiple tables are in the same
time range? Based on EVENTTIME, thank you!
mail list test
24 matches
Mail list logo
