K8s部署Flink 作业，无法在Web UI查看TaskManger的STDOUT日志

Flink on Native k8s部署后，程序答应的log,无法在Flink UI TaskManager的查看到日志。 不太想ELK方式收集 TaskManager 日志。 若使用kubectl logs查看pod的标准化输出对用户来说太复杂了。请问大家是如何处理的？ | | xinzhuxiansheng | | xinzhuxiansh...@126.com | 签名由网易邮箱大师定制

????

回复: Flink FailureRateRestartStrategy策略异常

你好，感谢回答我的疑问 我想我大概找到原因了，跟你说的一样。使用pipelined-region的failover策略，而作业本身切分了6个reion，在一次container失败当中就会全部失败。 目前我们作业改为使用full的faiover策略，因为都是1个TM且拓扑比较简单。 关于回复中的亮点： 1. 这个确实是一个解决办法，但存在参数不好配置，需要根据重试策略+region数+TM部署来指定 2. 测试中没有退出的原因是，测试作业的拓扑与实际运行的作业有差异，测试作业中只有一个region，所以就没有退出了。符合预期 再次感谢哈

回复: keyBy 后的 getKey 函数调用了两次

Reduce函数中，a可以认为是状态，你应该返回a试试，最好还是根据时间或者别的做个判断，然后输出，当然这些前提都是你的数据间隔小于10s 从 Windows 版邮件发送 发件人: Lei Wang 发送时间: 2022年3月1日 11:20 收件人: user-zh@flink.apache.org 主题: Re: keyBy 后的 getKey 函数调用了两次 谢谢，

Re: flink-connector-jdbc sink mysql是否存在乱序问题

Hi, 似乎我这里无法看到你发的图片。如果你的例子是从kafka读消息并写入mysql 数据库的话，由于executor的处理速度不完全相同等原因，有可能写入的顺序不是source读到的顺序但是数据是不会丢的。 > On 28 Feb 2022, at 4:56 PM, Guo Thompson wrote: > > 入口： > > 批量处理： > > 刷盘： > executeBatch按理来讲就是mysql的一个事务。 > > > 疑惑：从flush中可以看到，底层是分开了两个executeBatch，举一个例子： > kafka里面消息从flink-cdc通过d

Re: Flink FailureRateRestartStrategy策略异常

1. 可以根据作业的 region 数量、单 TaskManager Slot 数量综合来考虑，我个人建议要容忍 1~2 台 TM 故障而不直接退出 2. 预期也是会超过重试次数退出的，可以从日志看看没有退出的原因 > 2022年3月1日 下午3:08，刘 家锹 写道： > > 是的，我们用的pipelined region的Failover策略，region切分这块没找到具体规则的文档。 > 但我们作业只有一个taskmanager，同时并行度为6，逻辑是从kafka消费处理后写到下游kafka。从日志以及拓扑中来看，猜测我们的作业应该只能按并行度切分成6个，故障的时候就直接超过了

elasticsearch+hbase

HI, 现在环境是CDH 集群6台下，elasticsearch作为hbase二级索引，如何优化代码使得通过elasticsearch二级索引再查询hbase数据速度优化到0.1秒一下。谢谢。

elasticsearch+hbase

HI, 现在环境是CDH 集群6台下，elasticsearch作为hbase二级索引，如何优化代码使得查询速度优化到0.1秒一下。谢谢。

回复：退订

---原始邮件--- 发件人：谭 海棠" 发送时间："2022/3/1上午11:47:38" 收件人："user-zh@flink.apache.org" 主题：退订 退订 获取 Outlook for iOS

Re: keyBy 后的 getKey 函数调用了两次

不用reduce，直接用windowFunction，拿到该窗口的全部数据，返回最后一个。 而且所有的“前”和“后“应该是有数据层面的含义的，比如根据数据中的timestamp？还是啥，如果是有timestamp的话，可以在windowFunction中直接基于timestamp排序，然后输出最后一个。 Lei Wang 于2022年3月1日周二 11:21写道： > 谢谢，了解了。 > > 另外一个问题，我 timeWindown 之后只想保留最后一条在这个 window 中的数据直接输出: > > env.addSource(consumer).keyBy(new KeySele