请问下，我们程序在运行后需要添加一个kafka source（和老的协议一致，后面加工逻辑一样），程序开启了checkpoint，如何保障之前程序的状态不丢啊
补充下抛错异常
Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException: Could
not find a suitable table factory for
'org.apache.flink.table.delegation.ExecutorFactory' in
the classpath.
Reason: No factory implements
'org.apache.flink.table.delegation.ExecutorFactory'.
The
你这个需求是taint和toleration[1]可以解决的，目前native K8s是支持的[2]
kubernetes.jobmanager.tolerations
kubernetes.taskmanager.tolerations
[1].
https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/
[2].
您好
我将flink
sql建表程序提交到k8s执行时抛出如下异常，网上提示需要引入flink-table-planner-blink等依赖，但实际pom文件中已经引入，请问这个该如何解决，附部分pom文件，flink版本为1.13。谢谢。
还有基于检查点启动，首先数据完整性最终实际没问题对吧。
yidan zhao 于2021年11月17日周三 上午10:22写道：
> 出错原因是因为机器不稳定，tm超时等。
> 话说这种有什么判别方法用于定期清理吗。
>
> Caizhi Weng 于2021年11月17日周三 上午9:50写道：
>
>> Hi！
>>
>> 因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 .
>> 开头的，表示当前不可见。只有
>> checkpoint
>>
出错原因是因为机器不稳定，tm超时等。
话说这种有什么判别方法用于定期清理吗。
Caizhi Weng 于2021年11月17日周三 上午9:50写道：
> Hi！
>
> 因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 . 开头的，表示当前不可见。只有
> checkpoint
> 之后才会重命名为可见文件。因此如果任务频繁出现错误，这些不可见文件就会留在目录里，导致文件数增加。建议首先把任务为什么频繁出错查出来。
>
> yidan zhao 于2021年11月16日周二 下午5:36写道：
>
> >
>
看不到Task里Operator之间传输的数据量
zhisheng 于2021年11月4日周四 下午4:56写道：
>
> webui 有 operator 级别的，仔细看看
>
> Ada Luna 于2021年10月26日周二 下午4:08写道：
>
> > Web-UI中的就是Flink原生正常的Metrics，都是Task级别
> >
> > xiazhl 于2021年10月26日周二 下午2:31写道：
> > >
> > > web-ui里面有metrics
> > >
> > >
> > >
> > >
> > >
这指定不是个Bug。Flink SQL 类型是有限的。有限的类型囊括不了JDBC的数据源各种数据源的类型。
Shengkai Fang 于2021年11月16日周二 下午12:38写道：
>
> 如果是个 bug，建议在社区开个 issue 跟踪下这个问题。
>
> Shengkai Fang 于2021年11月16日周二 下午12:37写道：
>
> > 能分享下具体是什么错误类型吗？
> >
> > 我看了下代码，感觉不太好支持。具体的序列化器是由
> > `AbstractJdbcRowConverter`#createExternalConverter 决定的。
> >
Hi！
因为 compact 是在每次 checkpoint 的时候进行的，在做 checkpoint 之前产生的文件都是以 . 开头的，表示当前不可见。只有
checkpoint
之后才会重命名为可见文件。因此如果任务频繁出现错误，这些不可见文件就会留在目录里，导致文件数增加。建议首先把任务为什么频繁出错查出来。
yidan zhao 于2021年11月16日周二 下午5:36写道：
>
> 如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。
>
如题，目前没有具体看是没生效，还是来不及compact。任务正常情况没问题，但是如果任务出现频繁错误，导致过一会重启一次，这种情况导致文件数暴增，compact功能不生效。
我看了下，默认不带.zlib之类的后缀，我加了也看不出来到底有没有压缩。
其次，orc.compression官方介绍默认是zlib，貌似默认就有开启压缩？
RS 于2021年11月15日周一 上午9:55写道：
> 官网里面有介绍这个，你是要这个吧
>
> https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/formats/orc/
>
>
> Orc format also supports table properties from Table properties. For
>
11 matches
Mail list logo
