date:20211211

Re:Re:Re:Re:flink本地编译卡住

2021-12-11 文章 Jeff

好的，我试一下

















在 2021-12-11 16:32:01，"Yuepeng Pan"  写道：
>Hi, Jeff.
>
>
>  根据你提示的部分原信息：
>  [1].可以先尝试核对一下maven版本，这个页面中有一些关于maven构建flink的一些注意事项： 
> https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html
>  [2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目标jar包在本地仓库的目录位置
>  [3].确认下是不是mvn内存过小导致jvm卡顿, 如果是这个问题，可以适度根据机器资源更改参数配置
>  [4].如果还是不能确定问题，可以尝试一下 -X -e 启动 maven 的debug级别信息以获得更多构建时候的输出细节
>  以上，仅供参考。
>
>
>祝好，
>Yuepeng Pan.
>At 2021-12-11 16:53:44, "Jeff"  wrote:
>>
>>
>>
>>
>>
>>
>>able-runtime-blink\target\dependency-reduced-pom.xml
>>
>>[INFO]
>>
>>[INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ 
>>flink-table-r
>>
>>untime-blink_2.12 ---
>>
>>[INFO] Tests are skipped.
>>
>>[INFO]
>>
>>[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ 
>>flink-table-ru
>>
>>ntime-blink_2.12 ---
>>
>>[INFO] Installing 
>>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>>
>>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT.jar to 
>>G:\Java\maven\repository\o
>>
>>rg\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime
>>
>>-blink_2.12-1.13-SNAPSHOT.jar
>>
>>[INFO] Installing 
>>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>>
>>t\dependency-reduced-pom.xml to 
>>G:\Java\maven\repository\org\apache\flink\flink-
>>
>>table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime-blink_2.12-1.13-SNAPS
>>
>>HOT.pom
>>
>>[INFO] Installing 
>>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>>
>>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to 
>>G:\Java\maven\reposi
>>
>>tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r
>>
>>untime-blink_2.12-1.13-SNAPSHOT-tests.jar
>>
>>[INFO] Installing 
>>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>>
>>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to 
>>G:\Java\maven\reposi
>>
>>tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r
>>
>>untime-blink_2.12-1.13-SNAPSHOT-tests.jar
>>
>>
>>
>>
>>就是卡在这里，没有其它信息了。是不是它在后台编译nodejs前端代码码？ 但等了一天多也没有反应。
>>
>>
>>
>>
>>在 2021-12-11 15:47:46，"Yuepeng Pan"  写道：
>>
>>图片挂掉了。
>>可以外链到图床或者直接贴一下关键的原始提示信息。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>在 2021-12-11 16:34:41，"Jeff"  写道：
>>
>>
>>
>>
>>根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C 
>>，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图：
>>请问有什么处理方法么？
>>
>>
>>
>>
>>
>>
>> 
>>
>>
>>
>>
>>
>>

Re: flink作业支持资源自动扩缩容吗？

2021-12-11 文章 Zhilong Hong

流作业的话可以看一下自1.13版本开始引入的Reactive模式 [1]
和Adaptive调度，会根据资源的变化对作业并发度进行调整。用户可以根据作业指标对资源进行调整，flink即会根据资源变化对作业进行调整。批作业的话可以了解一下1.15版本中即将推出的Adaptive批调度模式
[2]，在这种模式下节点并发度会随着数据量自动进行调整。

[1]
https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/deployment/elastic_scaling/
[2]
https://cwiki.apache.org/confluence/display/FLINK/FLIP-187%3A+Adaptive+Batch+Job+Scheduler

On Wed, Dec 8, 2021 at 5:42 PM casel.chen  wrote:

>
> 实时作业根据上游业务流量大小消耗资源有峰谷，请问最新版本的flink支持在流量大的时候自动扩容（增加cpu/mem或提高并行度等)，在流量小的时候自动缩容吗？
> 如果支持，一般需要多久？扩缩容期间会影响作业正常运行吗？

BroadcastConnectedStream处理顺序问题

2021-12-11 文章 casel.chen

有一个场景是通过一张mysql的控制表来控制kafka流中的元素分流到不同下游sink，例如事实表的kafka和维表hbase等。
可我发现BroadcastConnectedStream处理顺序是随机的，有可能kafka数据来了（processElement方法）但还对应的MapState里面并没有该数据对应的控制规则（规则已经写到mysql控制表并被flink
 
cdc获取到控制流里面，只是还没有被processBroadcastElement方法处理到）。但我是想所有的维表数据都先建立好在MapState里面，不会出现找到对应key情况，请问这要怎么实现呢？

Re: flinksql相关问题

2021-12-11 文章 Caizhi Weng

Hi！

stmtSet.execute() 默认是异步的，只是提交作业而不会等待作业完成。如果需要等待作业完成再进行后续步骤，需要用
stmtSet.execute().await()。

陈卓宇 <2572805...@qq.com.invalid> 于2021年12月10日周五 20:25写道：

> 您好社区：
>  
> 我在使用flinksql将数据表A_now写入到数据库中后还有一步操作:将表A删除，完成将A_now更名为A，的切表操作。
> 发现当执行：
> //sql 插入数据到数据库操作
>
> StatementSet stmtSet = tenv.createStatementSet () ;
> stmtSet.addInsertSql ( insertSqlMongoDB ) ;
> stmtSet.addInsertSql ( insertSql ) ;
> stmtSet.execute () ;
> //完成后进行切表：
> /**  进行切表，删表 */
> 试试 {
> MongoUtil2 实例 = MongoUtil2。 获取实例 () ;
> MongoCollection < Document  oldData = instance.getCollection ( db,
> "t_up_tag_data_" +mongoKey ) ;
> MongoCollection "t_up_tag_metadata_"+mongoKey);
>
> 如果 （ 旧数据！= null ）{
> oldData.drop () ;
> }
> 如果 （ 旧元数据！= null ）{
> oldmetadata.drop () ;
> }
> MongoCollection < 文档  data = instance.getCollection ( db,
> "t_up_tag_data_" +mongoKey+ "_now" ) ;
> MongoCollection < Document  metadata = instance.getCollection ( db,
> "t_up_tag_metadata_" +mongoKey+ "_now" ) ;
>
> MongoCollection < Document  newData = instance.getCollection ( db,
> "t_up_tag_data_" +mongoKey ) ;
> MongoCollection < 文档  newmetadata = instance.getCollection ( db,
> "t_up_tag_metadata_" +mongoKey ) ;
> data.renameCollection ( newData.getNamespace ()) ;
> metadata.renameCollection ( newmetadata.getNamespace ()) ;
> 如果 （ 数据！= 空 ）{
> 数据.drop () ;
> }
> 如果 （ 元数据！= null ）{
> 元数据.drop () ;
> }
> } 捕获 （ 异常 e ）{
> 记录 .info ( e.getMessage ()) ;
> }
> 发现切表逻辑并未触发，请问这是什么原因，我该如何修改使整个流程完整走完
>
> 陈卓
>
>
> 
>

Re:Re:Re:flink本地编译卡住

2021-12-11 文章 Yuepeng Pan

Hi, Jeff.


  根据你提示的部分原信息：
  [1].可以先尝试核对一下maven版本，这个页面中有一些关于maven构建flink的一些注意事项： 
https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/flinkDev/building.html
  [2].另外可以构建命令之前尝试添加maven 的 clean, 或者删除卡顿模块生成目标jar包在本地仓库的目录位置
  [3].确认下是不是mvn内存过小导致jvm卡顿, 如果是这个问题，可以适度根据机器资源更改参数配置
  [4].如果还是不能确定问题，可以尝试一下 -X -e 启动 maven 的debug级别信息以获得更多构建时候的输出细节
  以上，仅供参考。


祝好，
Yuepeng Pan.
At 2021-12-11 16:53:44, "Jeff"  wrote:
>
>
>
>
>
>
>able-runtime-blink\target\dependency-reduced-pom.xml
>
>[INFO]
>
>[INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ 
>flink-table-r
>
>untime-blink_2.12 ---
>
>[INFO] Tests are skipped.
>
>[INFO]
>
>[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ 
>flink-table-ru
>
>ntime-blink_2.12 ---
>
>[INFO] Installing 
>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>
>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT.jar to 
>G:\Java\maven\repository\o
>
>rg\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime
>
>-blink_2.12-1.13-SNAPSHOT.jar
>
>[INFO] Installing 
>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>
>t\dependency-reduced-pom.xml to 
>G:\Java\maven\repository\org\apache\flink\flink-
>
>table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime-blink_2.12-1.13-SNAPS
>
>HOT.pom
>
>[INFO] Installing 
>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>
>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to 
>G:\Java\maven\reposi
>
>tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r
>
>untime-blink_2.12-1.13-SNAPSHOT-tests.jar
>
>[INFO] Installing 
>G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe
>
>t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to 
>G:\Java\maven\reposi
>
>tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r
>
>untime-blink_2.12-1.13-SNAPSHOT-tests.jar
>
>
>
>
>就是卡在这里，没有其它信息了。是不是它在后台编译nodejs前端代码码？ 但等了一天多也没有反应。
>
>
>
>
>在 2021-12-11 15:47:46，"Yuepeng Pan"  写道：
>
>图片挂掉了。
>可以外链到图床或者直接贴一下关键的原始提示信息。
>
>
>
>
>
>
>
>
>
>
>在 2021-12-11 16:34:41，"Jeff"  写道：
>
>
>
>
>根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C 
>，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图：
>请问有什么处理方法么？
>
>
>
>
>
>
> 
>
>
>
>
>
>

Re:Re:flink本地编译卡住

2021-12-11 文章 Jeff







able-runtime-blink\target\dependency-reduced-pom.xml

[INFO]

[INFO] --- maven-surefire-plugin:2.22.1:test (integration-tests) @ flink-table-r

untime-blink_2.12 ---

[INFO] Tests are skipped.

[INFO]

[INFO] --- maven-install-plugin:2.5.2:install (default-install) @ flink-table-ru

ntime-blink_2.12 ---

[INFO] Installing G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe

t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT.jar to G:\Java\maven\repository\o

rg\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime

-blink_2.12-1.13-SNAPSHOT.jar

[INFO] Installing G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe

t\dependency-reduced-pom.xml to G:\Java\maven\repository\org\apache\flink\flink-

table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-runtime-blink_2.12-1.13-SNAPS

HOT.pom

[INFO] Installing G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe

t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to G:\Java\maven\reposi

tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r

untime-blink_2.12-1.13-SNAPSHOT-tests.jar

[INFO] Installing G:\git\flink\flink\flink-table\flink-table-runtime-blink\targe

t\flink-table-runtime-blink_2.12-1.13-SNAPSHOT-tests.jar to G:\Java\maven\reposi

tory\org\apache\flink\flink-table-runtime-blink_2.12\1.13-SNAPSHOT\flink-table-r

untime-blink_2.12-1.13-SNAPSHOT-tests.jar




就是卡在这里，没有其它信息了。是不是它在后台编译nodejs前端代码码？ 但等了一天多也没有反应。




在 2021-12-11 15:47:46，"Yuepeng Pan"  写道：

图片挂掉了。
可以外链到图床或者直接贴一下关键的原始提示信息。










在 2021-12-11 16:34:41，"Jeff"  写道：




根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C 
，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图：
请问有什么处理方法么？

Re:flink本地编译卡住

2021-12-11 文章 Yuepeng Pan

图片挂掉了。
可以外链到图床或者直接贴一下关键的原始提示信息。










在 2021-12-11 16:34:41，"Jeff"  写道：




根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C 
，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图：
请问有什么处理方法么？

flink本地编译卡住

2021-12-11 文章 Jeff




根据官方建议的maven打包命令： mvm install -Dfast -DskipTests -Dscalla-2.12 -T 1C 
，但我在本地编译打包总是卡在flink-table-runtim-blink这里，也没有错误提示，如下图：
请问有什么处理方法么？

Re:Re:Re:Re:flink本地编译卡住

Re: flink作业支持资源自动扩缩容吗？

BroadcastConnectedStream处理顺序问题

Re: flinksql相关问题

Re:Re:Re:flink本地编译卡住

Re:Re:flink本地编译卡住

Re:flink本地编译卡住

flink本地编译卡住

8 matches

Site Navigation

Mail list logo

Footer information