Re: 如何获取算子处理一条数据记录的时间

如你截图所示，目前 1.9 版本中第一二个指标应该是有的，后面四个指标建议 check 一下当时讲师说的 Flink 版本号 张江 于2020年1月3日周五 下午3:36写道： > 好的，谢谢。我在flink forward asia 2019上听到马庆祥老师讲flink动态资源调整，他是获取了flink > metrics的指标进行计算的，如截图所示。但我自己获取metrics似乎没有发现这个指标信息，不知道是什么原因？ > > 张江 > 邮箱：zjkingdom2...@163.com > >

Re: Flink实现Kafka到Mysql的 End-To-End Exactly-Once中遇到的问题

我发这个用于测试的代码，里面的mysql-connector-java已经是最新的了，由于使用mysql-connector-java老版本趟过的坑已经处理过一遍了 > 在 2020年1月3日，下午3:13，残翅2008 <770968...@qq.com> 写道： > > 对于第1个问题尝试使用mysql-connector-java的latest版本 > 我之前使用5.1.6版本遇到同样的问题 > 改为5.1.48比较稳定 >             > > > > > -- 原始邮件 -- > 发件

?????? Flink????Kafka??Mysql?? End-To-End Exactly-Once????????????

??1??mysql-connector-java??latest ??5.1.6?? 5.1.48 https://github.com/lusecond/flink_help --depth=1 > > > TwoPhaseCommitSinkFunction4??beginTransaction??preCommit??commit??abort > ?

Re: flink 创建hbase出错

Hi: 这个方法之前试过了，确实有效的。但是有个地方不明白，就是sql解析这个是在driver端进行的，我的driver的jar包已经包含hbase相关的jar包，为什么还要在lib目录下加上？ 原始邮件 发件人:Terry wangzjuwa...@gmail.com 收件人:user-zhuser...@flink.apache.org 发送时间:2020年1月3日(周五) 11:02 主题:Re: flink 创建hbase出错 Hi, flink-hbase_2.11-1.9.0.jar 只包括了flink对hbase读写的封装的类，并没有提供hbase client的类，

Re: flink 创建hbase出错

Hi, flink-hbase_2.11-1.9.0.jar 只包括了flink对hbase读写的封装的类，并没有提供hbase client的类，你需要把hbaes client等相关的jar包提供出来放到 lib包里面。 Best, Terry Wang > 2020年1月2日 16:54，lucas.wu 写道： > > Hi 大家好 > 有个问题要问问大家，我现在用flink1.9版本创建hbase表 > sql： > create table hbase_dimention_table( > id varchar, > info ROW(xxx) > )with(

Re: 回复：如何获取算子处理一条数据记录的时间

Hi，张江 Flink官方支持追踪record的latency，你可以参考[1] 启用这个功能，不过这个功能会极大地降低你的处理性能，只能用作debug使用。 如果想知道真实使用场景下的性能指标，可以参考latency的metrics [2] 来衡量operator的处理性能。 [1] https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html#latency-tracking [2] https://ci.apache.org/projects/flink/flink-docs-st

????????????????????????????????????????

?9?8 | | | | ??zjkingdom2...@163.com | ?? ??2020??01??02?? 19:52??CrazyTomatoOo ?? 1s?? ------ ??: ""

????????????????????????????????????????

1s?? ------ ??: ""

????????????????????????????????????????

mapsource | | | | ??zjkingdom2...@163.com | ?? ??2020??01??02?? 10:28?? ?? ???

Re: Error:java: 无效的标记: --add-exports=java.base/sun.net.util=ALL-UNNAMED

For future reference, this issue (and the solution) are documented here . On 30/12/2019 08:32, Jark Wu wrote: I have the same problem when upgrade my IDEA to 2019.3.1. And the Biao's solution works for me too.

Re:Re: FLINK 1.9.1 StreamingFileSink 压缩问题

非常感谢帮助！ 祝腊八快乐，祝大家腊八愉快！！ 在 2020-01-02 15:00:25，"JingsongLee" 写道： >Hi, > >看起来你只能改下connector代码才能支持压缩了： >ParquetAvroWriters.createAvroParquetWriter里：设置AvroParquetWriter.Builder的压缩格式。 > >Best, >Jingsong Lee > > >-- >From:USERNAME >Send T

flink 创建hbase出错

Hi 大家好 有个问题要问问大家，我现在用flink1.9版本创建hbase表 sql： create table hbase_dimention_table( id varchar, info ROW(xxx) )with( 'connector.type' = 'hbase', 'connector.version' = '1.4.3', 'connector.table-name' = '', 'connector.zookeeper.quorum' = ‘xxx' ); 接着把flink-hbase_2.11-1.9.0.jar 放到了lib目录下，但是

Re: Re: flink内存分配的问题

我这边看不到你的图片，不知道是什么原因。 你可以用 ps 一下 TM 的 JVM 进程，看一下启动命令中 是否明确指定了 -XX:NewSize. 如果指定了，那需要检查一下你的配置是否在什么地方设置了 env.java.opts 或者 env.java.opts.taskmanager 如果没指定，那应该就是 JVM 自动设置的了。 Thank you~ Xintong Song On Thu, Jan 2, 2020 at 1:49 PM cs <58683...@qq.com> wrote: > 这个参数配置我是在tm的gc日志中看到的，flink的版本是1.8 > hea

Re:Re: How should i set the field type in mysql when i use temporal table join between kafka and jdbc ?

非常抱歉，是我这边的失误造成的结果，在schema中将字段类型设置成BIGINT就好啦，谢谢你！ 在 2020-01-02 14:32:59，"JingsongLee" 写道： >Hi, > >user-zh我就说中文啦. >你需要设置成bigint. >具体报什么错？ > >Best, >Jingsong Lee > > >-- >From:刘世民 >Send Time:2020年1月2日(星期四) 13:47 >To:user-zh >Su