??Timestamp??Watermark
----
??:
"user-zh"
你的数据有没有时间属性？可以用时间来判断吧
| |
熊云昆
|
|
邮箱：xiongyun...@163.com
|
签名由 网易邮箱大师 定制
在2020年10月23日 14:21，air23 写道：
你好，
这边发现使用cdc读取mysql ，然后写入mysql会有乱序问题
在上游mysql update一条数据，connert=print是有一条delete 和一条insert的数据，
但是jdbc写入mysql时候 发现mysql有时候是正常的，但是有时候会没有，当把并行度改成1的时候是正常的。
这边怀疑是乱序了，先insert 再delete了。所以导致结果表
Hi，yujianbo
只要任务结束，不管是cancel、failed、killed都会在history sever展示，
可以先去hdfs查看配置的目录是否存在任务相关的文件夹；也可以尝试重启一下history
server试试。麻烦问一下，你的任务使用什么api写的，以及版本、提交方式？
yujianbo wrote
> 大佬，我发现我配置完后就只能看到完成的任务在history
Hi，zhisheng
1.默认的刷新时间10s以及5s都测试过，真实体验是反应时间有点长，达到分钟级别，猜测这个参数的设置意义不大；
2.其实页面提供了Runing job
List，理论上是可以展示的，如果不能展示，web用的同一套前端代码的话，觉得有点鸡肋。使用起来，目前只能查看job的一些统计信息，如
ck相关，dag相关。
使用Filnk on yarn per job提交方式， 已经启动了yarn
JobHistoryServer，应该是不会产生影响的，除了sql其他api的任务监控正常。
Hi Hailong Wang,
非常感谢您的回答，很好地解决了我的疑问。
经过代码测试，NOW()等函数返回值确实会实时更新。
Best，
Longdexin
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬，我发现我配置完后就只能看到完成的任务在history sever上面，失败的看不到。现在疑惑的是失败的能不能出现在history server
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi ,all
我的问题解决了. 出现该问题的原因如下:
因为通过堡垒机端口转发, 所以需要在bootstrap.servers 写上所有 kafka borker即可
1. 修改 kafka 外网配置
>> broker1 配置:
>> listeners=PLAINTEXT://xxx-a-1:9092,EXTERNAL://:9797
>> advertised.listeners=PLAINTEXT://xxx-a-1:9092,EXTERNAL://:9797
>>
Hi,
我的做法如我所说，是用反射将parser拿出来的，比较hack但是很简单而且很稳妥
代码差不多就是下面这个样子
Flink version： custom version base on 1.11.x
@PostConstruct
private void setup() throws NoSuchFieldException, IllegalAccessException {
final StreamTableEnvironmentImpl env = (StreamTableEnvironmentImpl)
你好，
这边发现使用cdc读取mysql ，然后写入mysql会有乱序问题
在上游mysql update一条数据，connert=print是有一条delete 和一条insert的数据，
但是jdbc写入mysql时候 发现mysql有时候是正常的，但是有时候会没有，当把并行度改成1的时候是正常的。
这边怀疑是乱序了，先insert 再delete了。所以导致结果表 没有这条数据，请问flink sql 或者flink cdc 怎么保证有序。
我看官方文档[1]应该是设置state.checkpoints.num-retained , 默认是1, 但是设置了没有效果, 官方说默认是1,
但是我发现好像是10 ,
同时我也设置了其他的属性,比如
execution.checkpointing.externalized-checkpoint-retention:
RETAIN_ON_CANCELLATION
是可行,所以我的设置应该没有什么问题
10 matches
Mail list logo
