你可以在这个 ReduceFunction 的 reduce 打印一下 o1 和 o2，看看 o1.getAct() + o2.getAct()
后是啥
Jimmy Wong 于2020年2月26日周三 下午12:34写道：
> Hi, ReduceFunction实现如下：
>
>
> new ReduceFunction() {
> @Override
> public Order reduce(Order o1, Order o2) throws Exception {
> LOGGER.error("reduce=>{}", o1);
Hi, ReduceFunction实现如下：
new ReduceFunction() {
@Override
public Order reduce(Order o1, Order o2) throws Exception {
LOGGER.error("reduce=>{}", o1);
return new Order(o1.getId(),
o1.getAct() + o2.getAct(),
o1.getTimestamp());
}
}
| |
可以发下你的 ReduceFunction 是咋写的
Jimmy Wong 于2020年2月26日周三 上午10:37写道：
> Hi，All：
> 请教一下，我用一个 Flink ReduceFunction 计算，但是发送到下游的数据不变了，而上游一直有数据过来，请问会是啥原因，谢谢！
>
>
>
>
> | |
> Jimmy Wong
> |
> |
> wangzmk...@163.com
> |
> 签名由网易邮箱大师定制
>
>
Hi，All：
请教一下，我用一个 Flink ReduceFunction 计算，但是发送到下游的数据不变了，而上游一直有数据过来，请问会是啥原因，谢谢！
| |
Jimmy Wong
|
|
wangzmk...@163.com
|
签名由网易邮箱大师定制
Hi,
> 流模式和批模式的区别：
批模式会等所有数据都处理完以后，一次性输出最终结果。流模式会持续不断输出结果，以及更新结果，是一种增量模式。
对于相同的数据集以及相同的 query，从最终结果上来说，流与批运行的结果是一致的。
但是批模式必然要比流模式性能更优（因为计算量更少），流模式的优势是"提前（实时）看到结果"。
如果你后续想跟 hive 集成，那么批模式会更自然些。
个人建议你等一下这个 PR: https://github.com/apache/flink/pull/11045, 估计这两天就能 merge，等
merge 后你可以基于 master 重新打一个包，你的问题
1、首先定位产生反压的位置（可以在 Flink UI 上查看或者根据 Flink 的 Metric 定位）
2、定位到了反压源之后，处理反压可以先从系统资源/垃圾收集（GC）/线程竞争/负载不平衡 等基本原因去分析
更详细的可以看下之前写的一篇文章
https://gitbook.cn/gitchat/column/5dad4a20669f843a1a37cb4f/topic/5db6bed1f6a6211cb9616645
chanamper 于2020年2月26日周三 上午9:33写道：
> hi all,
> 我采用flink
> 1.10版本、rocksdb的状态后端，任务运
hi all,
我采用flink
1.10版本、rocksdb的状态后端，任务运行一段时间后出现反压的情况，导致任务的处理性能急剧下降，想请教一下有啥解决rocksdb状态后端下反压情况的优化手段吗？多谢
hi，all
在 Flink 中更新作业配置一般是通过重启作业配置或者使用广播流的方式，这里 zhisheng 贡献一种新的方式，整合配置中心来动态的更新
Flink 作业的配置，已达到无需重启作业且满足更新配置的效果，自己本人也分别录了两个视频，都已经放在 B
站了，我本人的博客做了些详细的说明，大家可以参考一下，然后在自己的公司运用起来，也欢迎大家提建议！
Flink 整合 Nacos，让 Flink 作业配置动态更新不再是难事：
http://www.54tianzhisheng.cn/2020/02/22/flink-nacos/
Flink 整合 Apollo，动态更新 Fl
flink-sqlmysql??ETL??insert
table select??ETL??
??ETL??flink??UpsertStreamTableSink
1.sink?
cc @Rui Li
sunfulin 于2020年2月25日周二 下午2:32写道：
>
>
> Hi,
>
> 我在配置flink连接hive时，由于集群开启了Kerberos认证，经过一番探索，异常没有了。但是现在连接的时候需要我输入Kerberos用户名和密码。我理解指定了keytab文件路径后，应该不需要用户名和密码了吧？请教各位大神可能的配置问题。
>
>
> security.kerberos.login.use-ticker-cache: false
> security.kerberos.login.keytab:
> /app/flink/flink-1.10.1
Hi,
> 流模式下和批模式下，写入mysql都是自动选用UpsertStreamTableSink吗？
是因为flink-jdbc目前只提供了 UpsertStreamTableSink 的实现。在如果是 StreamTableSink
或者说 AppendStreamTableSink 的话，批模式是支持的。
> 另外，如果基于批模式，是否目前没有可以执行insert into t_user_target
values(1,'fan'),(2,'ss')的sink。
当然有很多 sink 支持啊，比如 hive sink，filesystem sink 等等。
Best,
Jar
hi
可以看一下 PctrLogJoin -> (Sink: hdfsSink, Sink:> kafkaSink) (8/36) 这个的 tm log
看看具体是什么原因导致的 checkpoint 失败
Best,
Congxian
tao wang 于2020年2月21日周五 下午4:42写道：
> FLINK 1.9.1 版本，线上任务运行的时候，偶现这个checkpoint 被decline的问题。能帮忙确认一下根本原因是什么吗？ 是kafka
> 出问题还是代码有bug?
>
>
>
> > 2020-02-21 08:32:15,738 INFO
> > org.a
??
mysqlUpsertStreamTableSink
??insert into t_user_target
values(1,'fan'),(2,'ss')??sink??
sink??sql?
Hi,
当前 batch 模式还不支持 UpsertTableSink，不过已经有 PR 在支持中了：
https://issues.apache.org/jira/browse/FLINK-15579
Best,
Jark
On Tue, 25 Feb 2020 at 11:13, 猫猫 <16770...@qq.com> wrote:
> 意图：通过jdbc访问gateway，做一个mysql表写入的测试。通过jdbc-driver创建mysql表成功，但执行写入数据时失败。SQL-gateway采用默认配置。但语句直接在sqlclient中执行可以成功。想请教一下，是定义不正确
14 matches
Mail list logo
