Re: 关于flink sql问题

Hi 本超 关于Mysql 做维表，关掉cache后的优化手段，有什么建议吗？ 比如，20k records per second 的流量，关掉 cache 会对 mysql 产生很大的压力。不知道 MySQL Lookup 做成 async + batch 会不会提升性能或者有副作用。 Best forideal. 在 Benchao Li ，2020年7月1日 13:22写道： 我理解你只需要把这同一个Mysql表再做一个维表即可。可以写两次DDL，一个给维表用，一个给sink用。 如果你就觉得它是实时变化的，你可以把维表的cache关掉，保证每

Re: flink任务提交方式

好的，感谢 On Thu, Jul 2, 2020 at 12:37 PM jianxu wrote: > 你可以看下这个项目https://github.com/todd5167/clusters-submiter，改造下应该满足你的需求。 > 在 2020-07-02 12:09:05，"Dream-底限" 写道： > >hi > > >请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具 >

Re: flink的state过期设置

Hi TTL的时间戳实际是会存储在 state 里面 [1]，与每个entry在一起，也就是说从Checkpoint恢复的话，数据里面的时间戳是当时插入时候的时间戳。 [1] https://github.com/apache/flink/blob/ba92b3b8b02e099c8aab4b2b23a37dca4558cabd/flink-runtime/src/main/java/org/apache/flink/runtime/state/ttl/TtlValueState.java#L50 祝好 唐云 Fro

Re:flink任务提交方式

你可以看下这个项目https://github.com/todd5167/clusters-submiter，改造下应该满足你的需求。 在 2020-07-02 12:09:05，"Dream-底限" 写道： >hi >请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具

flink任务提交方式

hi 请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具

Re: UDTAGGs sql的查询怎么写

好的，谢谢jinsong大佬 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? ????flink sql????

blink-planner??temporal table?? sqlinsert into mysql_sink select C.log_id, C.vic from (select A.log_id, case when B.cnt>0 and A.server>0 then B.cnt+1 else A.server end as vic from (select log_id, server, PROCTIME() as proctime from ka

flink的state过期设置

您好： 想咨询一下关于state的ttl问题; 想问一下 state设置的ttl,如果从checkpoints重启 ttl会不会失效；ttl针对的是process time， 比如我设置的7天过期,重新从checkpoints启动是第一次启动的时间算还是恢复时的新processtime算；他是state的一部分 还是怎么算； 或者要注册定时器来实现 hdxg1101300...@163.com

Re: UDTAGGs sql的查询怎么写

Hi, 因为UDTAGGs不属于标准SQL的语法，所以只有TableApi Best, Jingsong On Thu, Jul 2, 2020 at 11:10 AM liangji wrote: > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/functions/udfs.html#table-aggregation-functions > 请问下UDTAGGs支持sql的写法吗，怎么写？看官档上只有table api的示例。 > > > > -- > Sent from: h

UDTAGGs sql的查询怎么写

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/functions/udfs.html#table-aggregation-functions 请问下UDTAGGs支持sql的写法吗，怎么写？看官档上只有table api的示例。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复： flink基于yarn的HA次数无效，以及HA拉起的任务是否可以重用state

我之前配置了HA，也配置了flink中yarn-attempts=2，结果是kill jm进程可以无限重启 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? flink????yarn??HA??????????????HA??????????????????????state

hi,jiliang1993: ??yarn??yarn.resourcemanager.am.max-attempts yarn.application-attempt-failures-validity-interval??attempts10??10attempts??110??attempts??

?????? flink????yarn??HA??????????????HA??????????????????????state

hi ?? Best, MuChen. --  -- ??: ""https://blog.csdn.net/cndotaci/article/details/106870413 > ??flinkyarn??2??6yarn?? > >

Re:回复：flink1.10 checkpoint 运行一段时间空指针异常

都是分配不到资源(slot)的错误，应该还是checkpoint 为空导致的,不知道为啥为空 在 2020-07-01 20:51:34，"JasonLee" <17610775...@163.com> 写道： >你到具体的tm上找到相关的operator看看是不是有异常信息 > > >| | >JasonLee >| >| >邮箱：17610775...@163.com >| > >Signature is customized by Netease Mail Master > >在2020年07月01日 20:43，程龙 写道： >flink1.10上

回复：flink1.10 checkpoint 运行一段时间空指针异常

你到具体的tm上找到相关的operator看看是不是有异常信息 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年07月01日 20:43，程龙 写道： flink1.10上 程序运行几个小时后就会报不能执行checkpoint 空指针异常 具体如下： java.lang.Exception: Could not perform checkpoint 3201 for operator Filter -> Map (2/8).

flink1.10 checkpoint 运行一段时间空指针异常

flink1.10上 程序运行几个小时后就会报不能执行checkpoint 空指针异常 具体如下： java.lang.Exception: Could not perform checkpoint 3201 for operator Filter -> Map (2/8). at org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpointOnBarrier(StreamTask.java:816) at org.apache.flink.streaming.runtim

Re: flink基于yarn的HA次数无效，以及HA拉起的任务是否可以重用state

hi, muchen 1. yarn.application-attempts 这个参数与另外一个参数有关系：yarn.application-attempt-failures-validity-interval，大概意思是需要在设置的这个interval内失败重试多少次，才认为flink job是失败的，如果超过这个interval，就会重新开始计数。打个比方，yarn.application-attempts: 2，yarn.application-attempt-failures-validity-interval = 1（默认值，10s），只有在10s内 flink job

flink????yarn??HA??????????????HA??????????????????????state

hi??all?? ??https://blog.csdn.net/cndotaci/article/details/106870413??flinkyarn??2??6yarn?? 1. 2. HA?

Re: flink1.10 用flinksql 写hbase，报错：UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

Hello, 你试下 MD5(real_income_no) as rowkey 放在query的里层，最外层的group by直接用 rowkey试下， Flink 1.11 之后支持在 table里声明 PK, 1.11后就不用推导了。 祝好， Leonard Xu > 在 2020年7月1日，13:51，tiantingting5...@163.com 写道： > > MD5(real_income_no) as rowkey,

Re: 来自boss_大数据开发_史文龙的邮件

Hello 如果要取消订阅 FLink中文社区的邮件，直接发送任意内容的邮件到 user-zh @flink.apache.org 即可，邮件的取消和订阅可以参考[1] 祝好 [1] https://flink.apache.org/community.html#mailing-lists > 在 2020年7月1日，17:35，bos

来自boss_大数据开发_史文龙的邮件

xxx-unsubscr...@flink.apache.org

?????? flink sql ddl CREATE TABLE kafka011 sink ????????????exactly-once??

issues, Fix Version/s:None ??dataStream --  -- ??: "??"https://issues.apache.org/jira/browse/FLINK-15221 https://jxeditor.github.io/2020/06/11/FlinkSQL%E5%9C%A8%E4%BD%BF%E7%94%A8%E5%88%9B%E5%BB%BA%E

Re: flink sql ddl CREATE TABLE kafka011 sink 如何开启事务exactly-once？

我们正准备开发这个功能，详情可以参考：https://issues.apache.org/jira/browse/FLINK-15221 夏帅 于2020年7月1日周三 下午3:13写道： > 你好,可以尝试自定义实现Kafka011TableSourceSinkFactory和Kafka011TableSink来实现exactly-once > > Kafka011TableSink > > > @Override > protected SinkFunction createKafkaProducer( > String topic, > Propertie

回复：flink sql ddl CREATE TABLE kafka011 sink 如何开启事务exactly-once？

你好,可以尝试自定义实现Kafka011TableSourceSinkFactory和Kafka011TableSink来实现exactly-once Kafka011TableSink @Override protected SinkFunction createKafkaProducer( String topic, Properties properties, SerializationSchema serializationSchema, Optional> partitioner) { return new FlinkKa