回复：flink-1.10 checkpoint 偶尔报 NullPointerException

你这样改没什么用吧，如果checkpointMetaData为空还是会报错吧 在2020年05月09日 12:09，chenkaibit 写道： Hi： 加了一些日志后发现是 checkpointMetaData 为 NULL 了 https://github.com/apache/flink/blob/release-1.10.0/flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/tasks/StreamTask.java#L1421 测试程序为读 kafka，然后进行 wordcount，结果

Re: Re: 可撤回流是否可以进行双流 Join？

Hi 大龙， 你可以看下这里： https://github.com/apache/flink/blob/master/flink-table/flink-table-planner-blink/src/main/scala/org/apache/flink/table/planner/plan/optimize/program/FlinkChangelogModeInferenceProgram.scala#L213 刘大龙 于2020年5月9日周六 下午2:13写道： > Hi,Benchao, > > 我看TimeBoundedStreamJoin这个类里面并没有限制消息的类型

Re: Flink-1.10-SQL TopN语法问题

Hi 图挂了，可以用图床工具链接出来，或者可以把query贴出来看看嘛？ Best, Leonard Xu > 在 2020年5月9日，13:51，guaishushu1...@163.com 写道： > > hi 大家，我在使用TopN语法，往mysql写数据时，发现必须将rownum设置为数据库的主键，要不然会报错，有人遇到吗 > > guaishushu1...@163.com

Re: Re: 可撤回流是否可以进行双流 Join？

Hi,Benchao, 我看TimeBoundedStreamJoin这个类里面并没有限制消息的类型，理论上应该是可以的吧？ > -原始邮件- > 发件人: "Benchao Li" > 发送时间: 2020-05-09 11:35:27 (星期六) > 收件人: user-zh > 抄送: > 主题: Re: 可撤回流是否可以进行双流 Join？ > > 你指的是time interval join，还是普通的双流join？ > > time interval join应该是不能的。一般的双流join应该是可以的。 > > LakeShen 于2020年

Flink-1.10-SQL TopN语法问题

hi 大家，我在使用TopN语法，往mysql写数据时，发现必须将rownum设置为数据库的主键，要不然会报错，有人遇到吗 guaishushu1...@163.com

Re:Re:Re: flink-1.10 checkpoint 偶尔报 NullPointerException

Hi： 加了一些日志后发现是 checkpointMetaData 为 NULL 了 https://github.com/apache/flink/blob/release-1.10.0/flink-streaming-java/src/main/java/org/apache/flink/streaming/runtime/tasks/StreamTask.java#L1421 测试程序为读 kafka，然后进行 wordcount，结果写入 kafka。checkpoint 配置如下： | Checkpointing Mode | Exactly Once | | Interval

Re: 可撤回流是否可以进行双流 Join？

你指的是time interval join，还是普通的双流join？ time interval join应该是不能的。一般的双流join应该是可以的。 LakeShen 于2020年5月9日周六 上午11:28写道： > Hi 各位， > > 最近有业务需求，需要用到双流 Join (Interval Join)，如果两个流中，其中一个流式可撤回流（Retract），或者两个流都是 > Retract 流，那么他们还能进行双流 Join 吗？ > > 目前我知道如果两个流是 Append 流的话，肯定可以双流 Join，但是其中一个流式 Retract 流，就不知道还能不能 Jo

可撤回流是否可以进行双流 Join？

Hi 各位， 最近有业务需求，需要用到双流 Join (Interval Join)，如果两个流中，其中一个流式可撤回流（Retract），或者两个流都是 Retract 流，那么他们还能进行双流 Join 吗？ 目前我知道如果两个流是 Append 流的话，肯定可以双流 Join，但是其中一个流式 Retract 流，就不知道还能不能 Join 了。 期望你的回复。 Best, LakeShen

????????????webui??????job

? | | Zhonghan Tang | | 13122260...@163.com | ?? ??2020??05??9?? 11:20(Jiacheng Jiang)<920334...@qq.com> ?? hi all     flink web ui??jobweb ui??job??savepointweb?

??????webui??????job

hi all     flink web ui??jobweb ui??job??savepointweb??job??

Re: flink-1.10 on yarn日志输出问题

Yarn 日志的话，直接根据 任务的 Application ID ，去 Yarn 的 Web UI 上面看吧。 Best, LakeShen guaishushu1...@163.com 于2020年5月8日周五 下午3:43写道： > 日志全部输出到.err日志里面了，flink-web也看不到日志有人知道吗？ > > -- > guaishushu1...@163.com >

回复： 关于flink1.10.0使用HiveModule的问题

Hi, Jingsong Lee 非常感谢你的回答！ 在不使用正则的情况下我用REGEXP替换REGEXP_REPLACE，暂时解决了该问题， 后续会按你提供的方案进行解决，还请不吝赐教，多谢！ 在2020年5月8日 18:14，Jingsong Li 写道： Hi, 本来应该使用Flink内置的函数的，但是目前由于有bug[1]，使用到了HiveModule。 一个简单的办法是实现一个你的Module，继承自HiveModule，overwrite getFunctionDefinition方法，REGEXP_REPLACE时返回empty。 [1]https://is

Re: What is the RocksDB local directory in flink checkpointing?

Hi LakeShen You could refer to [1] and [2] to know the temporary directory in YARN, the related log could be "Setting directories for temporary files to: " or "Overriding Fink's temporary file directories with those specified in the Flink config: " [1] https://github.com/apache/flink/blob/0dd

Re: 关于flink1.10.0使用HiveModule的问题

Hi, 本来应该使用Flink内置的函数的，但是目前由于有bug[1]，使用到了HiveModule。 一个简单的办法是实现一个你的Module，继承自HiveModule，overwrite getFunctionDefinition方法，REGEXP_REPLACE时返回empty。 [1]https://issues.apache.org/jira/browse/FLINK-15595 Best, Jingsong Lee On Fri, May 8, 2020 at 5:19 PM like wrote: > > 最初因为使用了hive中自定义的UDF，所以我注册了hiv

flink1.10 po extends ParentPo??print??????????print parent??????????

??PO?? env.addSource(consumer) .uid("source") .setParallelism(parameterTool.getInt("source_num", 1)) //json??value .map(value -> JSONObject.parseObject(value, IPEntiy.class)) .uid("map") .setParallelism(parameterTo

回复： 关于flink1.10.0使用HiveModule的问题

最初因为使用了hive中自定义的UDF，所以我注册了hive的catalog，后面又要用到hive的内置函数，所以又用了HiveModule，代码如下： val hive = new HiveCatalog("hive", "default", "/etc/hive_config", "1.2.1") tableEnv.registerCatalog("hive", hive) tableEnv.useCatalog("hive") tableEnv.useDatabase("default") tableEnv.loadModule("myhive", new HiveModule("

Re: 关于flink1.10.0使用HiveModule的问题

Hi, 你是怎么用HiveModule的？还保留了CoreModule吗？ Best, Jingsong Lee On Fri, May 8, 2020 at 4:14 PM like wrote: > 各位大佬好， > 目前我在使用HiveModule的过程中碰到了一些问题，在未使用HiveModule的时候用了REGEXP_REPLACE > 函数，这是可以正常使用的，在使用HiveModule之后却出现了问题，当我把字符替换为空的时候就会报错 > REGEXP_REPLACE('abcd', 'a', '')，大家有碰到这个问题吗？或者我能选择使用flink或者h

Re: Re: exception：beyond the 'PHYSICAL' memory limit

谢谢你，问题已经找到了，是我的程序导致的内存泄露。 应该是getProperties方法每被调用一次，都会读流，造成的内存泄漏 public class LazyLoadConfig { public static Properties getProperties(String name) { InputStream in = LazyLoadConfig.class.getClassLoader().getResourceAsStream(name); Properties prop = new Properties(); try

关于flink1.10.0使用HiveModule的问题

各位大佬好， 目前我在使用HiveModule的过程中碰到了一些问题，在未使用HiveModule的时候用了REGEXP_REPLACE 函数，这是可以正常使用的，在使用HiveModule之后却出现了问题，当我把字符替换为空的时候就会报错 REGEXP_REPLACE('abcd', 'a', '')，大家有碰到这个问题吗？或者我能选择使用flink或者hive的内置函数吗？ 异常堆栈信息如下： org.apache.flink.client.program.ProgramInvocationException: The main method caused an

Re: exception：beyond the 'PHYSICAL' memory limit

也可以尝试按照下面的方法进一步调大 native 内存。 1. taskmanager.memory.task.heap.size 进一步调小，比如 1.5g 或 1g 2. taskmanager.memory.jvm-overhead.max 调大以避免冲突，建议先调成 4g 另外你说这个问题是作业运行一段时间后发生的，具体是多长时间发生的呢？也可以考虑先把 -ytm 调得很大，观察一下 container 的内存用量是如何增长的。如果持续增长不收敛，那有可能是存在内存泄漏的问题。 Thank you~ Xintong Song On Fri, May 8, 2020 at

Re: exception：beyond the 'PHYSICAL' memory limit

这个报错是 Flink 使用的内存超出了申请的 container 大小，被 yarn 杀掉了。因为 jvm 没有报 oom，所以应该只能是 native 内存超用。 看了一下你的配置，按照这个配置 jvm overhead 留出了 800MB+，再加上按你说的 streaming 作业没有用到 state，那 512 MB 的 manage memory 也空出来了，加在一起 native 内存有 1.3GB+ 应该是够用的。从 dump 信息来看配置是正常生效了，也没有其他子进程，按理说不应该超用才对。 建议还是再确认下是否有用到了 rocksdb，以及是否有用到其他使用 nativ

flink-1.10 on yarn日志输出问题

日志全部输出到.err日志里面了，flink-web也看不到日志有人知道吗？ guaishushu1...@163.com

Re: Streaming SQL 的 Source/Sink 在 Append Mode/Upsert Mode 上的疑问

圆满，感谢 On Fri, May 8, 2020 at 10:19 AM Jark Wu wrote: > Hi, > > FLIP-95 和 FLIP-105 后，上述的 query 就可以原生支持了。 > FLIP-95 和 FLIP-105 的核心工作就是识别 binlog 中的 update/delete/insert 消息，而不是全当成 > append 消息。 > 预计 1.11 能见到这些功能。 > > Best, > Jark > > On Thu, 7 May 2020 at 21:34, oliver wrote: > > > > 有其他办法吗 > > > >