Re: Flink SQL 1.10.0窗口计算结果无法sink

除了pravega connector之外的有没有什么地方有问题呢？ On Fri, Jun 19, 2020 at 18:43 Leonard Xu wrote: > Hi, > pravega connector[1] 应该不是社区提供的，之前没看过这个connector的代码, > 看你的描述，可以检查下写入时是否有一些参数需要设置。 > > > 祝好， > Leonard Xu > [1] https://github.com/pravega/flink-connectors < > https://github.com/pravega/flink-connectors> >

Re: Re: Flink 多Sink 数据一致性保证

看了一下 TwoPhaseCommitSinkFunction ,因为我测试的时候是自己写的Sink，没有继承这个Sink去实现，所以是我的问题。谢谢 xueaohui_...@163.com 发件人： xueaohui_...@163.com 发送时间： 2020-06-20 09:54 收件人： user-zh 抄送： yungao.gy > 主题： Re: Re: Flink 多Sink 数据一致性保证 Hello： 我手动试了一下，一个Sink的抛异常是不会影响另外一个Sink的写入的。 引用： 按二阶段提交的逻辑，这种情况下kafka这边的事

Re: Re: Re: Re: Flink 多Sink 数据一致性保证

下面这个是一个单独的问题；我想说的是逻辑上hbase写挂导致failover的时候kafka应该会abort掉当前事务，但是反过来kafka写错的时候，hbase这边应该没有办法不写入的，如果按现在的默认实现的话。 -- Sender:Yun Gao Date:2020/06/20 10:42:23 Recipient:xueaohui_...@163.com; user-zh Theme:Re: Re: Re: Flink 多Sink 数据一致性保证 he

Re: Re: Re: Flink 多Sink 数据一致性保证

hello~, 一个Sink的抛异常是不会影响另外一个Sink的写入的： 这个是指hbase的异常不会影响kafka的写入？hbase的异常有导致failover么？逻辑上如果出现整个作业的failover，kafka的sink也会开始走failover，然后把当前的事务failover掉，然后整个作业回退到上一个checkpoint开始执行。 不过还有一个问题是现在hbase的sink的写法是？因为hbase默认应该hbase sink function本身应该不是基于两阶段提交的。 此致 敬礼 --Original Mail

?????? Re: Flink ??Sink ??????????????

??kafka??sinkhbase sinkhbase??kafka--  -- ??: "xueaohui_...@163.com"

回复：Flink 多Sink 数据一致性保证

Hi 能不能描述一下你是什么样的场景下才会需要到多sink一致性保证？ 可不可以换一下思路，选择只出kafka的数据，然后把kafka数据实时同步hbase。 Best, Yichao Yang 发自我的iPhone -- 原始邮件 -- 发件人: xueaohui_...@163.com

回复: flink1.9 on yarn 运行二个多月之后出现错误

不知道有没有yarn上面的详细日志。 hdfs是否有权限问题 xueaohui_...@163.com 发件人： guanyq 发送时间： 2020-06-20 08:48 收件人： user-zh 主题： flink1.9 on yarn 运行二个多月之后出现错误 附件为错误日志。哪位大佬帮忙分析下。

Re: Re: Flink 多Sink 数据一致性保证

Hello： 我手动试了一下，一个Sink的抛异常是不会影响另外一个Sink的写入的。 引用： 按二阶段提交的逻辑，这种情况下kafka这边的事务也会被abort掉，数据不会真正写入。 这个是需要手动开启吗？ xueaohui_...@163.com 发件人： yunyungao...@aliyun.com>Gao 发送时间： 2020-06-19 15:21 收件人： xueaohui_...@163.com; user-zh 主题： Re: Flink 多Sink 数据一致性保证 Hello， 我理解多个sink的情况下，数据保证写

flink1.9 on yarn 运行二个多月之后出现错误

附件为错误日志。哪位大佬帮忙分析下。2020-06-20 08:39:47,829 INFO org.apache.flink.yarn.YarnTaskExecutorRunner - 2020-06-20 08:39:47,830 INFO org.apache.flink.yarn.YarnTaskExecutorRunner - Starting

Re:Re: Re: flink run from checkpoit failed

我是per job模式，不是yarn session模式啊 At 2020-06-19 20:06:47, "Rui Li" wrote: >那得重启yarn session，再把作业提交上去 > >On Fri, Jun 19, 2020 at 6:22 PM Zhou Zach wrote: > >> >> >> >> >> >> >> 用yarn application kill flink job把yarn的application杀掉了，杀掉后yarn没有重启flink job >> >> >> >> >> >> >> >> >> >> >> >

Re: Re: flink run from checkpoit failed

那得重启yarn session，再把作业提交上去 On Fri, Jun 19, 2020 at 6:22 PM Zhou Zach wrote: > > > > > > > 用yarn application kill flink job把yarn的application杀掉了，杀掉后yarn没有重启flink job > > > > > > > > > > > > 在 2020-06-19 17:54:45，"Rui Li" 写道： > >用yarn application kill flink job是说把yarn的application杀掉了吗？杀掉以后有没有重启呀 > >

Re: Flink SQL 1.10.0窗口计算结果无法sink

Hi, pravega connector[1] 应该不是社区提供的，之前没看过这个connector的代码, 看你的描述，可以检查下写入时是否有一些参数需要设置。 祝好， Leonard Xu [1] https://github.com/pravega/flink-connectors > 在 2020年6月19日，13:31，王超 <1984chaow...@gmail.com> 写道： > > 各位大神求帮忙看一下。 > > Flink 版本：1.10.0 > Planner：b

Re:Re: flink run from checkpoit failed

用yarn application kill flink job把yarn的application杀掉了，杀掉后yarn没有重启flink job 在 2020-06-19 17:54:45，"Rui Li" 写道： >用yarn application kill flink job是说把yarn的application杀掉了吗？杀掉以后有没有重启呀 > >On Fri, Jun 19, 2020 at 4:09 PM Zhou Zach wrote: > >> >> >> 在flink-1.10.0/conf/flink-conf.yaml中加了下面两

Re: flink run from checkpoit failed

用yarn application kill flink job是说把yarn的application杀掉了吗？杀掉以后有没有重启呀 On Fri, Jun 19, 2020 at 4:09 PM Zhou Zach wrote: > > > 在flink-1.10.0/conf/flink-conf.yaml中加了下面两个超时参数，不起作用 > akka.client.timeout: 6 > akka.ask.timeout: 600 > > 有大佬知道是什么原因吗 > > > > > > > > > > > > > > > 在 2020-06-19 14:

Re: Re: 回复: 关于拓展 Tuple元组的问题

特别香！ > -原始邮件- > 发件人: "Jark Wu" > 发送时间: 2020-06-19 15:46:42 (星期五) > 收件人: user-zh > 抄送: > 主题: Re: 回复: 关于拓展 Tuple元组的问题 > > 用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ > > > On Fri, 19 Jun 2020 at 15:42, Weixubin <18925434...@163.com> wrote: > > > 感谢你的回答，请问可否举一个参照例子？ > > > > > > > > > > >

Re:Re: 回复: 关于拓展 Tuple元组的问题

感谢，这边做了一下简单测试，已解决~ 真香 //Demo import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.common.typeinfo.Types; import org.apache.flink.table.functions.TableFunction; import org.apache.flink.types.Row; public class ParseUriRow extends TableFunction { pu

Re:flink run from checkpoit failed

在flink-1.10.0/conf/flink-conf.yaml中加了下面两个超时参数，不起作用 akka.client.timeout: 6 akka.ask.timeout: 600 有大佬知道是什么原因吗 在 2020-06-19 14:57:05，"Zhou Zach" 写道： > > > > >用yarn application kill flink job后， >执行/opt/flink-1.10.0/bin/flink run -s >/user/flink10/checkpoints/69e450574d852

Re: 回复: 关于拓展 Tuple元组的问题

用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ On Fri, 19 Jun 2020 at 15:42, Weixubin <18925434...@163.com> wrote: > 感谢你的回答，请问可否举一个参照例子？ > > > > > > > > > > > > > > > > > > 在 2020-06-19 15:31:53，"wangweigu...@stevegame.cn" < > wangweigu...@stevegame.cn> 写道： > > > > 多个值组合在一起，当一个复合值使用！ > > > > > > > >

Re: Re: 对于维表频繁更新，状态越来越大的场景如何保证数据的准确性

Flink SQL 没有支持 localcache (或者说 keyby), 这个需要改源码。 以及内置支持的 JDBC, HBase 维表都不支持 async lookup， 这个需要用户自己开发 JDBC, HBase async lookup。 或者用户也可以自己通过 DataStream API 实现上述这些功能。 keyby+localcache+异步IO 只是说解决这个问题的一个思路。 Best， Jark On Fri, 19 Jun 2020 at 11:11, wangweigu...@stevegame.cn < wangweigu...@stevegame.cn

Re:回复: 关于拓展 Tuple元组的问题

感谢你的回答，请问可否举一个参照例子？ 在 2020-06-19 15:31:53，"wangweigu...@stevegame.cn" 写道： > > 多个值组合在一起，当一个复合值使用！ > > > > >发件人： 魏旭斌 >发送时间： 2020-06-19 15:01 >收件人： user-zh >主题： 关于拓展 Tuple元组的问题 >目前Flink 提供了Tuple1 ~ Tuple25，在实际开发中不能满足我们的需求，我们希望能有更大的元组，比如构建一个Tuple50。 >请问有什么解决的方案？ 谢谢

回复: 关于拓展 Tuple元组的问题

多个值组合在一起，当一个复合值使用！ 发件人： 魏旭斌 发送时间： 2020-06-19 15:01 收件人： user-zh 主题： 关于拓展 Tuple元组的问题 目前Flink 提供了Tuple1 ~ Tuple25，在实际开发中不能满足我们的需求，我们希望能有更大的元组，比如构建一个Tuple50。 请问有什么解决的方案？ 谢谢

flink job自动checkpoint是成功，手动checkpoint失败

2020-06-19 15:11:18,361 INFO org.apache.flink.client.cli.CliFrontend - Triggering savepoint for job e229c76e6a1b43142cb4272523102ed1. 2020-06-19 15:11:18,378 INFO org.apache.flink.client.cli.CliFrontend - Waiting for response... 2020-06-19 15:11:4

Re: Flink 多Sink 数据一致性保证

Hello， 我理解多个sink的情况下，数据保证写入仍然发生在数据写入后的checkpoint完成，如果写入Hbase这边写入失败的时候会触发failover的话，按二阶段提交的逻辑，这种情况下kafka这边的事务也会被abort掉，数据不会真正写入。 --Original Mail -- Sender:xueaohui_...@163.com Send Date:Thu Jun 18 19:39:46 2020 Recipients:user-zh Subject:Flink 多Sink 数据一致性保证

关于拓展 Tuple元组的问题

目前Flink 提供了Tuple1 ~ Tuple25，在实际开发中不能满足我们的需求，我们希望能有更大的元组，比如构建一个Tuple50。 请问有什么解决的方案？ 谢谢