Re: 关于streamFileSink在checkpoint下生成文件问题

2022-01-11 文章 Chang Li
直接用的开源版本吗?还是公司内部有改动,原生的cp是固定频率,而很多公司离线计算都是整点触发的,为了减少延迟,会自定义在整点触发一次cp,开源目前没有这个feature 黄志高 于2021年12月1日周三 21:53写道: > hi,各位大佬,咨询个问题 > > >

Re: Re: 关于streamFileSink在checkpoint下生成文件问题

2022-01-11 文章 Chang Li
直接用的开源版本吗?还是公司内部有改动,原生的cp是固定频率,而很多公司离线计算都是整点触发的,为了减少延迟,会自定义在整点触发一次cp,开源目前没有这个feature 黄志高 于2021年12月2日周四 14:14写道: > | > > > > > 32684 > | > COMPLETED > | 8/8 | 13:52:36 | 13:52:38 | 2s | 126 KB | 0 B | > | | 32683 | > COMPLETED > | 8/8 | 13:42:36 | 13:42:39 | 2s | 126 KB | 0 B | > | | 32682 | >

Re:Re: 关于streamFileSink在checkpoint下生成文件问题

2021-12-01 文章 黄志高
| 32684 | COMPLETED | 8/8 | 13:52:36 | 13:52:38 | 2s | 126 KB | 0 B | | | 32683 | COMPLETED | 8/8 | 13:42:36 | 13:42:39 | 2s | 126 KB | 0 B | | | 32682 | COMPLETED | 8/8 | 13:32:36 | 13:32:39 | 2s | 126 KB | 0 B | | | 32681 | COMPLETED | 8/8 | 13:22:36 | 13:22:39 | 2s | 125 KB | 0 B | | |

Re: 关于streamFileSink在checkpoint下生成文件问题

2021-12-01 文章 Caizhi Weng
Hi! 邮件里看不到图片和附件,建议使用外部图床。 partFile 文件是不是以英文句点开头的?这是因为 streamingFileSink 写文件的时候还没做 checkpoint,为了保证 exactly once,这些临时写下的 .partFile 文件都是不可见的,需要等 checkpoint 之后才会重命名成可见的文件。 黄志高 于2021年12月1日周三 下午9:53写道: > hi,各位大佬,咨询个问题 > > >

关于streamFileSink在checkpoint下生成文件问题

2021-12-01 文章 黄志高
hi,各位大佬,咨询个问题