Re: Flink窗口状态清除疑问

2023-08-02 文章 yidan zhao
首先你窗口是30min,刚刚开始肯定会是涨的。 其次,后续稳定后,继续涨可能是因为流量在变化。 最后,流量不变情况下,还可能受到延迟的影响。 lxk 于2023年7月25日周二 11:22写道: > > 相关配置: > Flink:1.16 > > | Checkpointing Mode | Exactly Once | > | Checkpoint Storage | FileSystemCheckpointStorage | > | State Backend | EmbeddedRocksDBStateBackend | > | Interval | 8m 0s | > > >

Re: Flink ML

2023-08-02 文章 yidan zhao
这个取决于你是什么模型,比如python中sklearn的大多模型都可以导出成pmml格式模型,然后java用jpmml库就可以导入进行预测。 如果是tensorflow模型,也有,只不过我忘记了,你可以找找。 15904502343 <15904502...@163.com> 于2023年8月1日周二 16:48写道: > > 您好 > 我想知道是否有代码示例,可以在Flink程序中加载预先训练好的编码模型(用python编写)

Re: 如何把自己新增的定制化connector deploy snapshot版本到私服仓库

2023-08-02 文章 Jiabao Sun
你好, 不需要将所有的依赖都改为snapshot,仅需要将我们项目内的版本加上 snapshot 后缀。 可以在项目中统一替换版本号 1.x.x -> 1.x.x-SNAPSHOT,或者使用 mvn versions:set -DnewVersion=1.x.x-SNAPSHOT 设置。 > 2023年8月2日 下午2:25,jinzhuguang 写道: > >

Re: 如何把自己新增的定制化connector deploy snapshot版本到私服仓库

2023-08-02 文章 jinzhuguang
非常感谢你的提醒,我现在用maven工具修改了所有的版本号为snapshot,但是flink-connectors(connectors的父模块)也变成snapshot,打包的时候仓库里找不到他了,而且也没法想flink-runtime这些包手动改下版本好,这种该怎么办 > 2023年7月27日 11:05,Jiabao Sun 写道: > > 你好, > > 通常在 pom 中引入 maven-deploy-plugin,并且通过 声明私服地址,使用 mvn > clean deploy 命令部署到nexus私服。 > 部署到 SNAPSHOT 仓库需要项目版本号包含

Re: flink sql作业状态跨存储系统迁移问题

2023-08-02 文章 Hangxiang Yu
Hi, 我理解可以有两种方式: 1. 设定从某个存储集群上恢复并向另一个存储集群上快照,即设置[1]为 HDFS地址,[2] 为后面的对象存储地址 2. 还是在HDFS集群上启停作业,设置 savepoint 目录[3]到对象存储 关于 state processor api,目前 sql 作业确实操作起来比较困难,只能从日志里获取 uid 等信息,以及理解 sql 实际产生的状态才能使用; [1]