请问下目前flink的启动方式有哪些
1 通过命令行来执行
flink run -C file:///usr/local/soft/flink/function-0.1.jar -c
cn.xxx.flink.table.sql.Job /usr/local/soft/flink/flink-1.0-SNAPSHOT.jar
2通过自带的webui页面上传jar , submit jar
3 通过代码 createRemoteEnvironment
目前主要使用的是,通过代码请求rest api http请求来实现上传jar,跑任务, 但是目前遇到的问题是,通过rest api
无法
hello
我是用flink1.10的ddl的双流窗口join，但是当我新增字段或修改字段类型，把程序重启后，无论是从savepoint处还是checkpoint处重启都是失败，最后只能删除掉checkpoint或savepoint才能使用，但是这样会丢些数据，请问该怎么处理，非常感谢？
报错如下：
Caused by: org.apache.flink.util.FlinkException: Could not restore keyed state
backend for KeyedProcessOperator_33601e3dd532edccff92bfce124910c6
大负载下缩短检查点间隔这个动作，是不是可以理解为，流量大的时候检查点间隔小，听上去可以自适应地保证检查点间隔时间内的流量。
但有个问题是检查点间隔缩短，意味着检查点的开销会增大，在本来由于业务流量造成的高负载情况下进一步提高节点的负载，不知道这种系统设计上会不会有困难。
还请其他大佬指教
coke half 于2020年4月18日周六 下午1:05写道：
>
> 你好，我现在了解到有对检查点开销的问题建模中考虑到恢复时间等开销，当负载大时检查点间隔会缩短。其实问题也就是，在大负载情况下自动缩短检查点间隔这个动作在实际业务场景中有意义吗？谢谢
>
> __
这个不是稳定复现的，但是在最近 1.10 上测试的几个作业出现了，触发时也没有其他报错。我加了一些日志，再观察下
在 2020-04-21 01:12:48，"Yun Tang" 写道：
>Hi
>
>这个NPE有点奇怪，从executeCheckpointing方法[1]里面其实比较难定位究竟是哪一个变量或者变量的取值是null。
>一种排查思路是打开 org.apache.flink.streaming.runtime.tasks 的DEBUG
>level日志，通过debug日志缩小范围，判断哪个变量是null
>
>这个异常出现的时候，相关task上面的日志有什么异
嗯是的，都设置成小于等于partition数
| |
Sun.Zhu
|
|
邮箱：17626017...@163.com
|
Signature is customized by Netease Mail Master
在2020年04月21日 00:28，Jark Wu 写道：
Hi,
你可以将 kafka 并行度设置成等于 kafka partition 个数。这个方式肯定能 work，且不浪费 task 资源。
Best,
Jark
On Mon, 20 Apr 2020 at 22:33, Benchao Li wrote:
> 我对checkpoint这块不
Hi
这个NPE有点奇怪，从executeCheckpointing方法[1]里面其实比较难定位究竟是哪一个变量或者变量的取值是null。
一种排查思路是打开 org.apache.flink.streaming.runtime.tasks 的DEBUG
level日志，通过debug日志缩小范围，判断哪个变量是null
这个异常出现的时候，相关task上面的日志有什么异常么，触发这个NPE的条件是什么，稳定复现么？
[1]
https://github.com/apache/flink/blob/aa4eb8f0c9ce74e6b92c3d9be5dc8e8cb536239d/f
Hi,
你可以将 kafka 并行度设置成等于 kafka partition 个数。这个方式肯定能 work，且不浪费 task 资源。
Best,
Jark
On Mon, 20 Apr 2020 at 22:33, Benchao Li wrote:
> 我对checkpoint这块不是很了解。不过subtask标记为idle跟finish还是有区别的吧。
>
> 祝尚 <17626017...@163.com> 于2020年4月20日周一 下午10:29写道：
>
> > 我们是1.8版本，但是这段源码应该是没变把
> > // check if all tasks tha
我对checkpoint这块不是很了解。不过subtask标记为idle跟finish还是有区别的吧。
祝尚 <17626017...@163.com> 于2020年4月20日周一 下午10:29写道：
> 我们是1.8版本，但是这段源码应该是没变把
> // check if all tasks that we need to trigger are running.
> // if not, abort the checkpoint
> Execution[] executions = new Execution[tasksToTrigger.length];
> for (int
我们是1.8版本，但是这段源码应该是没变把
// check if all tasks that we need to trigger are running.
// if not, abort the checkpoint
Execution[] executions = new Execution[tasksToTrigger.length];
for (int i = 0; i < tasksToTrigger.length; i++) {
Execution ee = tasksToTrigger[i].getCurrentExecutionAttempt();
if (
大家遇到过这个错误吗, CheckpointOperation.executeCheckpointing 的时候报 NullPointerException
java.lang.Exception: Couldnot perform checkpoint 5505for operator Source:
KafkaTableSource(xxx) -> SourceConversion(table=[xxx, source:
[KafkaTableSource(xxx)]], fields=[xxx]) -> Calc(select=[xxx) AS xxx]) ->
SinkCon
你们用的是哪个版本？我们用的是1.9，还没有遇到过这个问题呢。
Sun.Zhu <17626017...@163.com> 于2020年4月20日周一 下午5:43写道：
> 我们生产上遇到过这个问题，分不到partition的source短暂时间后变成了finished状态，在做checkpoint时会检查所有executor的状态是不是running，否则将不做checkpoint
> ，源码CheckpointCoordinator#triggerCheckpoint也有说明
>
>
>
>
>
> | |
> Sun.Zhu
> |
> |
> 邮箱：17626017...@16
我们生产上遇到过这个问题，分不到partition的source短暂时间后变成了finished状态，在做checkpoint时会检查所有executor的状态是不是running，否则将不做checkpoint
，源码CheckpointCoordinator#triggerCheckpoint也有说明
| |
Sun.Zhu
|
|
邮箱：17626017...@163.com
|
Signature is customized by Netease Mail Master
在2020年04月20日 10:37，Benchao Li 写道：
应该是不会的。分配不到part
12 matches
Mail list logo
