好的好的,谢谢
| |
cuibeiyu2672
|
|
cuibeiyu2...@163.com
|
签名由网易邮箱大师定制
在2021年9月28日 10:16,Caizhi Weng<tsreape...@gmail.com> 写道:
Hi!

如果你说的是对于固定的字段,每次需要过滤出来的值不一样,可以考虑维表 join。维表里保存的就是你需要过滤出来的值,这样每次只要更新维表即可。

如果你说的是每次要选择不同的字段,可能只能通过 udtf 来完成这个需求。udtf 里通过网络等方式访问外部资源来判断现在需要过滤的是哪些字段的哪些值。

yunying <cuibeiyu2...@163.com> 于2021年9月28日周二 上午9:47写道:


flink消费一个kafka主题,比如里面有一个字段分为a,b,c,d......,现在有一个需求就是要过滤出字段是a的数据,进行后续操作。写完这个任务提交了过后,过段时间又需要过滤出字段b进行后续操作,后续的操作都是一样的,现在我就要为它在开发一个任务,在提交一次,数据量都不大。但是每提交一次都会耗费资源。以后说不定还会要过滤c,d,e....有什么好办法解决这个问题吗

回复