Re:Re:Re:Re:flink本地编译卡住

2021-12-11 文章 Jeff
好的,我试一下 在 2021-12-11 16:32:01,"Yuepeng Pan" 写道: >Hi, Jeff. > > > 根据你提示的部分原信息: > [1].可以先尝试核对一下maven版本,这个页面中有一些关于maven构建flink的一些注意事项: > https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html > [2].另外可以构建命令之前尝试添加maven 的 clean,

Re: flink作业支持资源自动扩缩容吗?

2021-12-11 文章 Zhilong Hong
流作业的话可以看一下自1.13版本开始引入的Reactive模式 [1] 和Adaptive调度,会根据资源的变化对作业并发度进行调整。用户可以根据作业指标对资源进行调整,flink即会根据资源变化对作业进行调整。批作业的话可以了解一下1.15版本中即将推出的Adaptive批调度模式 [2],在这种模式下节点并发度会随着数据量自动进行调整。 [1] https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/elastic_scaling/ [2]

BroadcastConnectedStream处理顺序问题

2021-12-11 文章 casel.chen
有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。 可我发现BroadcastConnectedStream处理顺序是随机的,有可能kafka数据来了(processElement方法)但还对应的MapState里面并没有该数据对应的控制规则(规则已经写到mysql控制表并被flink cdc获取到控制流里面,只是还没有被processBroadcastElement方法处理到)。但我是想所有的维表数据都先建立好在MapState里面,不会出现找到对应key情况,请问这要怎么实现呢?

Re: flinksql相关问题

2021-12-11 文章 Caizhi Weng
Hi! stmtSet.execute() 默认是异步的,只是提交作业而不会等待作业完成。如果需要等待作业完成再进行后续步骤,需要用 stmtSet.execute().await()。 陈卓宇 <2572805...@qq.com.invalid> 于2021年12月10日周五 20:25写道: > 您好社区: > > 我在使用flinksql将数据表A_now写入到数据库中后还有一步操作:将表A删除,完成将A_now更名为A,的切表操作。 > 发现当执行: > //sql 插入数据到数据库操作 > > StatementSet stmtSet =

Re:Re:Re:flink本地编译卡住

2021-12-11 文章 Yuepeng Pan
Hi, Jeff. 根据你提示的部分原信息: [1].可以先尝试核对一下maven版本,这个页面中有一些关于maven构建flink的一些注意事项: https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html [2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目标jar包在本地仓库的目录位置 [3].确认下是不是mvn内存过小导致jvm卡顿, 如果是这个问题,可以适度根据机器资源更改参数配置

Re:Re:flink本地编译卡住

2021-12-11 文章 Jeff
able-runtime-blink\target\dependency-reduced-pom.xml [INFO] [INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ flink-table-r untime-blink_2.12 --- [INFO] Tests are skipped. [INFO] [INFO] --- maven-install-plugin:2.5.2:install (default-install) @ flink-table-ru

Re:flink本地编译卡住

2021-12-11 文章 Yuepeng Pan
图片挂掉了。 可以外链到图床或者直接贴一下关键的原始提示信息。 在 2021-12-11 16:34:41,"Jeff" 写道: 根据官方建议的maven打包命令: mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C ,但我在本地编译打包总是卡在flink-table-runtim-blink这里,也没有错误提示,如下图: 请问有什么处理方法么?

flink本地编译卡住

2021-12-11 文章 Jeff
根据官方建议的maven打包命令: mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C ,但我在本地编译打包总是卡在flink-table-runtim-blink这里,也没有错误提示,如下图: 请问有什么处理方法么?