Re:flink任务提交方式

你可以看下这个项目https://github.com/todd5167/clusters-submiter，改造下应该满足你的需求。 在 2020-07-02 12:09:05，"Dream-底限" 写道： >hi >请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具

flink任务提交方式

hi 请问现在flink有没有像sparklauncher这种任务提交方式，在任务提交成功后返回对应的任务id（不管是onyarn还是standlone），我这面想用java代码提交任务并在提交后获取任务id，请问有没有对应功能或工具

Re: UDTAGGs sql的查询怎么写

好的，谢谢jinsong大佬 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? ????flink sql????

blink-planner??temporal table?? sqlinsert into mysql_sink select C.log_id, C.vic from (select A.log_id, case when B.cnt0 and A.server0 then B.cnt+1 else A.server end as vic from (select log_id, server, PROCTIME() as proctime from

flink的state过期设置

您好： 想咨询一下关于state的ttl问题; 想问一下 state设置的ttl,如果从checkpoints重启 ttl会不会失效；ttl针对的是process time， 比如我设置的7天过期,重新从checkpoints启动是第一次启动的时间算还是恢复时的新processtime算；他是state的一部分 还是怎么算； 或者要注册定时器来实现 hdxg1101300...@163.com

Re: UDTAGGs sql的查询怎么写

Hi, 因为UDTAGGs不属于标准SQL的语法，所以只有TableApi Best, Jingsong On Thu, Jul 2, 2020 at 11:10 AM liangji wrote: > > https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/functions/udfs.html#table-aggregation-functions > 请问下UDTAGGs支持sql的写法吗，怎么写？看官档上只有table api的示例。 > > > > -- > Sent from:

UDTAGGs sql的查询怎么写

https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/functions/udfs.html#table-aggregation-functions 请问下UDTAGGs支持sql的写法吗，怎么写？看官档上只有table api的示例。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复： flink基于yarn的HA次数无效，以及HA拉起的任务是否可以重用state

我之前配置了HA，也配置了flink中yarn-attempts=2，结果是kill jm进程可以无限重启 -- Sent from: http://apache-flink.147419.n8.nabble.com/

?????? flink????yarn??HA??????????????HA??????????????????????state

hi,jiliang1993: ??yarn??yarn.resourcemanager.am.max-attempts

?????? flink????yarn??HA??????????????HA??????????????????????state

hi ?? Best, MuChen. ---- ??:""https://blog.csdn.net/cndotaci/article/details/106870413 ??flinkyarn??2??6yarn??

Re:回复：flink1.10 checkpoint 运行一段时间空指针异常

都是分配不到资源(slot)的错误，应该还是checkpoint 为空导致的,不知道为啥为空 在 2020-07-01 20:51:34，"JasonLee" <17610775...@163.com> 写道： >你到具体的tm上找到相关的operator看看是不是有异常信息 > > >| | >JasonLee >| >| >邮箱：17610775...@163.com >| > >Signature is customized by Netease Mail Master > >在2020年07月01日 20:43，程龙 写道： >flink1.10上

flink1.10 checkpoint 运行一段时间空指针异常

flink1.10上 程序运行几个小时后就会报不能执行checkpoint 空指针异常 具体如下： java.lang.Exception: Could not perform checkpoint 3201 for operator Filter -> Map (2/8). at org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpointOnBarrier(StreamTask.java:816) at

Re: flink基于yarn的HA次数无效，以及HA拉起的任务是否可以重用state

hi, muchen 1. yarn.application-attempts 这个参数与另外一个参数有关系：yarn.application-attempt-failures-validity-interval，大概意思是需要在设置的这个interval内失败重试多少次，才认为flink job是失败的，如果超过这个interval，就会重新开始计数。打个比方，yarn.application-attempts: 2，yarn.application-attempt-failures-validity-interval = 1（默认值，10s），只有在10s内 flink job

flink????yarn??HA??????????????HA??????????????????????state

hi??all?? ??https://blog.csdn.net/cndotaci/article/details/106870413??flinkyarn??2??6yarn?? 1. 2.

Re: flink1.10 用flinksql 写hbase，报错：UpsertStreamTableSink requires that Table has a full primary keys if it is updated.

Hello, 你试下 MD5(real_income_no) as rowkey 放在query的里层，最外层的group by直接用 rowkey试下， Flink 1.11 之后支持在 table里声明 PK, 1.11后就不用推导了。 祝好， Leonard Xu > 在 2020年7月1日，13:51，tiantingting5...@163.com 写道： > > MD5(real_income_no) as rowkey,

Re: 来自boss_大数据开发_史文龙的邮件

Hello 如果要取消订阅 FLink中文社区的邮件，直接发送任意内容的邮件到 user-zh @flink.apache.org 即可，邮件的取消和订阅可以参考[1] 祝好 [1] https://flink.apache.org/community.html#mailing-lists > 在

来自boss_大数据开发_史文龙的邮件

xxx-unsubscr...@flink.apache.org

?????? flink sql ddl CREATE TABLE kafka011 sink ????????????exactly-once??

issues, Fix Version/s:None ??dataStream ---- ??:"??"https://issues.apache.org/jira/browse/FLINK-15221

Re: flink sql ddl CREATE TABLE kafka011 sink 如何开启事务exactly-once？

我们正准备开发这个功能，详情可以参考：https://issues.apache.org/jira/browse/FLINK-15221 夏帅 于2020年7月1日周三 下午3:13写道： > 你好,可以尝试自定义实现Kafka011TableSourceSinkFactory和Kafka011TableSink来实现exactly-once > > Kafka011TableSink > > > @Override > protected SinkFunction createKafkaProducer( > String topic, >

回复：flink sql ddl CREATE TABLE kafka011 sink 如何开启事务exactly-once？

你好,可以尝试自定义实现Kafka011TableSourceSinkFactory和Kafka011TableSink来实现exactly-once Kafka011TableSink @Override protected SinkFunction createKafkaProducer( String topic, Properties properties, SerializationSchema serializationSchema, Optional> partitioner) { return new

flink sql ddl CREATE TABLE kafka011 sink ????????????exactly-once??

flink sql CREATE TABLE kafka sinkcheckpointsql sinkexactly-once?? ?? ?? Consistency guarantees: By default, a Kafka sink ingests data with at-least-once guarantees into a Kafka topic if the query is executed with checkpointing enabled.??

Re: 关于local cluster的问题

start-cluster.sh每次就是会启动一个Standalone集群的，由于都是一个flink conf，所以新起的JM 肯定会因为端口冲突起不来，TM会注册在之前已经running的JM上。 如果你只是测试，用完以后，需要stop-cluster.sh停掉 如果是想在一个JVM里面进行测试，那可以用MiniCluster，所有的组件都会以线程模式启动 Best, Yang naisili Yuan 于2020年6月30日周二 下午7:09写道： > 不好意思没说清楚，跟提交任务没关系，只是执行start-cluster.sh后taskmanager就自动加一 > >