Hi!??https://nightlies.apache.org/flink/flink-docs-release-1.12/downloads/setup-pyflink-virtual-env.sh
?? 2021-11-18 15:05:03??"Asahi Lee" <978466...@qq.com.INVALID> ??
>Hi!
>
>flink??setup-pyflink-virtual-env.sh
Hi!
flink??setup-pyflink-virtual-env.sh
python??
https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/python/faq/
flink的job运行一段时间后， checkpoint就一直失败，信息如下：
ID
Status
Acknowledged
Trigger Time
Latest Acknowledgement
End to End Duration
State Size
Buffered During Alignment
295
FAILED
30/5011:55:3811:55:391h 0m 0s205 KB0 B
Checkpoint Detail:
Path: - Discarded: - Failure Message: Checkpoint expired before
Hi！
Flink SQL 写 hdfs 应该产生的是一个目录，比如写 hdfs 的时候指定的是 'path' =
'hdfs:///data/test.csv'，那么就会在 hdfs 里产生 /data/test.csv
这个目录，里面所有不以点（.）开头的文件都是可读的。如果用 Flink 读，那么直接指定目录，也就是 'path' =
'hdfs:///data/test.csv' 即可；如果通过其他方式读，注意读取目录下所有不以点（.）开头的文件。
陈卓宇 <2572805...@qq.com.invalid> 于2021年11月18日周四 上午11:47写道：
>
>
不太理解，直接删掉老source 有什么影响吗？
Best,
Shengkai
杨浩 于2021年11月17日周三 下午6:00写道：
> 试了下，可以直接加source，有办法加source后，删掉老的source么？
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2021-11-17 14:56:37，"杨浩" 写道：
>
> 请问下，我们程序在运行后需要添加一个kafka
> source（和老的协议一致，后面加工逻辑一样），程序开启了checkpoint，如何保障之前程序的状态不丢啊
>
>
>
>
>
>
打出来的jar中是否包含了 相应的依赖呢？
aiden <18765295...@163.com> 于2021年11月17日周三 下午2:34写道：
> 补充下抛错异常
> Caused by: org.apache.flink.table.api.NoMatchingTableFactoryException:
> Could not find a suitable table factory for
> 'org.apache.flink.table.delegation.ExecutorFactory' in
> the classpath.
>
> Reason: No
flinksql??HDFS:part-c4a19762-bde3-4f37-8b3c-b92d182b450c-task-0-file-0
??,flink??sql??hdfs
??
老版本我们是自己通过重新修改页面 js 代码去掉的，
zhisheng 于2021年11月18日周四 上午11:44写道：
> web.cancel.enable: false
>
> web.cancel.enable 这个参数可以控制是否显示那个取消按钮
>
> Caizhi Weng 于2021年11月16日周二 下午3:53写道：
>
>> Hi！
>>
>> Flink 本身不自带安全机制，需要通过外部系统完成访问限制。
>>
>> 疾鹰击皓月 <1764232...@qq.com.invalid> 于2021年11月16日周二 下午2:57写道：
>>
>> > 您好
web.cancel.enable: false
web.cancel.enable 这个参数可以控制是否显示那个取消按钮
Caizhi Weng 于2021年11月16日周二 下午3:53写道：
> Hi！
>
> Flink 本身不自带安全机制，需要通过外部系统完成访问限制。
>
> 疾鹰击皓月 <1764232...@qq.com.invalid> 于2021年11月16日周二 下午2:57写道：
>
> > 您好
> >
> > Flink
> >
>
好的
RS 于2021年11月18日周四 上午9:32写道：
> 1. 文件名是不带.zlib后缀的
> 2.
> ORC格式默认是配置了ZIP压缩的，并且开启的，你可以配置'orc.compress'='NONE'测试下，看下不压缩的大小，没有压缩的文件应该是更大的
>
>
> 在 2021-11-16 17:29:17，"yidan zhao" 写道：
> >我看了下，默认不带.zlib之类的后缀，我加了也看不出来到底有没有压缩。
> >其次，orc.compression官方介绍默认是zlib，貌似默认就有开启压缩？
> >
> >RS 于2021年11月15日周一
Hi！
这种文件用于在 task 之间交换数据。我对 windows
的行为不太了解，但看起来是这个临时文件被清理了。是否有设置什么自动清理策略？另外这样的错误如果只是偶发，Flink 的 failover
机制会让作业从 checkpoint 重新运行，不必担心作业的可用性和正确性。
陈卓宇 <2572805...@qq.com.invalid> 于2021年11月17日周三 下午7:44写道：
> 场景:将table表转为streaming流进行一个关联维表操作后发生异常
>
> 异常内容:
> 2021-11-17
>
1. 文件名是不带.zlib后缀的
2. ORC格式默认是配置了ZIP压缩的，并且开启的，你可以配置'orc.compress'='NONE'测试下，看下不压缩的大小，没有压缩的文件应该是更大的
在 2021-11-16 17:29:17，"yidan zhao" 写道：
>我看了下，默认不带.zlib之类的后缀，我加了也看不出来到底有没有压缩。
>其次，orc.compression官方介绍默认是zlib，貌似默认就有开启压缩？
>
>RS 于2021年11月15日周一 上午9:55写道：
>
>> 官网里面有介绍这个，你是要这个吧
>>
>>
场景:将table表转为streaming流进行一个关联维表操作后发生异常
异常内容:
2021-11-17
19:39:53.056|ERROR|org.apache.flink.runtime.io.network.partition.BufferWritingResultPartition|flink-taskexecutor-io-thread-4|releaseInternal|233|Error
during release of result subpartition:
同一个 task 里面的 op 往往是 chain 起来的，不经过网络传输很难评估其传输的数据量的...如果是 debug 的话，应该把所有的
chaining 断开，这样子每个 op 就是一个 task。可以通过设置 pipeline.operator-chaining false
来关闭chaining。
Best,
Shengkai
Ada Luna 于2021年11月17日周三 上午10:16写道：
> 看不到Task里Operator之间传输的数据量
>
> zhisheng 于2021年11月4日周四 下午4:56写道：
> >
> > webui 有
试了下，可以直接加source，有办法加source后，删掉老的source么？
在 2021-11-17 14:56:37，"杨浩" 写道：
请问下，我们程序在运行后需要添加一个kafka source（和老的协议一致，后面加工逻辑一样），程序开启了checkpoint，如何保障之前程序的状态不丢啊
在Yarn上部署时，会把所有的LOCAL_DIRS都设置为io.tmp.dirs。这样在某些情况下可以达到更好的性能
因为这个本来就是用来存放临时文件的，不存在高可用的问题。
如果有一块盘坏掉，目前YARN只能保证新起的container不再使用这块盘，现有正在使用这个盘的container不会处理
所以，只能等container自己失败退出了
Best,
Yang
鲁成祥 <979775...@qq.com.invalid> 于2021年11月15日周一 下午8:30写道：
> 目前Flink Yarn集群上 io.tmp.dirs 统一配置了
16 matches
Mail list logo
