根据官方建议的maven打包命令: mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C
,但我在本地编译打包总是卡在flink-table-runtim-blink这里,也没有错误提示,如下图:
请问有什么处理方法么?
图片挂掉了。
可以外链到图床或者直接贴一下关键的原始提示信息。
在 2021-12-11 16:34:41,"Jeff" 写道:
根据官方建议的maven打包命令: mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C
,但我在本地编译打包总是卡在flink-table-runtim-blink这里,也没有错误提示,如下图:
请问有什么处理方法么?
able-runtime-blink\target\dependency-reduced-pom.xml
[INFO]
[INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ flink-table-r
untime-blink_2.12 ---
[INFO] Tests are skipped.
[INFO]
[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ flink-table-ru
ntime-bli
Hi, Jeff.
根据你提示的部分原信息:
[1].可以先尝试核对一下maven版本,这个页面中有一些关于maven构建flink的一些注意事项:
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html
[2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目标jar包在本地仓库的目录位置
[3].确认下是不是mvn内存过小导致jvm卡顿, 如果是这个问题,可以适度根据机器资源更改参数配置
Hi!
stmtSet.execute() 默认是异步的,只是提交作业而不会等待作业完成。如果需要等待作业完成再进行后续步骤,需要用
stmtSet.execute().await()。
陈卓宇 <2572805...@qq.com.invalid> 于2021年12月10日周五 20:25写道:
> 您好社区:
>
> 我在使用flinksql将数据表A_now写入到数据库中后还有一步操作:将表A删除,完成将A_now更名为A,的切表操作。
> 发现当执行:
> //sql 插入数据到数据库操作
>
> StatementSet stmtSet = tenv.createS
有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink,例如事实表的kafka和维表hbase等。
可我发现BroadcastConnectedStream处理顺序是随机的,有可能kafka数据来了(processElement方法)但还对应的MapState里面并没有该数据对应的控制规则(规则已经写到mysql控制表并被flink
cdc获取到控制流里面,只是还没有被processBroadcastElement方法处理到)。但我是想所有的维表数据都先建立好在MapState里面,不会出现找到对应key情况,请问这要怎么实现呢?
流作业的话可以看一下自1.13版本开始引入的Reactive模式 [1]
和Adaptive调度,会根据资源的变化对作业并发度进行调整。用户可以根据作业指标对资源进行调整,flink即会根据资源变化对作业进行调整。批作业的话可以了解一下1.15版本中即将推出的Adaptive批调度模式
[2],在这种模式下节点并发度会随着数据量自动进行调整。
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/elastic_scaling/
[2]
https://cwiki.apache.o
好的,我试一下
在 2021-12-11 16:32:01,"Yuepeng Pan" 写道:
>Hi, Jeff.
>
>
> 根据你提示的部分原信息:
> [1].可以先尝试核对一下maven版本,这个页面中有一些关于maven构建flink的一些注意事项:
> https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html
> [2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目