Re: 批流一体的一些疑问
Hi！ 如果观察到 sink 节点有数据写入，但 mysql 结果表的数据没有变化，可以看一下是否配置了 sink.buffer-flush.interval，如果这个值太大会导致在 flush interval 时间内数据没有 flush 到 mysql 里。它的默认值是 1s。 如果不是这个问题，可能需要提供比较详细的 SQL 来让大家找一下问题所在。 yanyunpeng 于2021年8月9日周一 上午10:24写道： > HI: > 大概的逻辑是这样的 > insert mysql_result_table【mysql结果表】 > select * from id_all【id的所有合集 mysql表】 where id not in (select distinct > id from flink_view【2小时的id的合集】) > > > insert到mysql的时候 结果数据不会随着窗口变动而变化 > > > 在 2021年8月9日 10:19，Caizhi Weng 写道： > > > Hi！ 不太明白这里的“结果插入数据库的时候变成了批，mysql 中的结果不会变化”是什么含义。这是说 sink > 表和维表是同一张表吗？希望能更清晰地描述场景和做法。 yanyunpeng > 于2021年8月9日周一 上午10:12写道： > 发现一个问题大佬能帮忙解答一二？ > 1. 数据中的补充表（补充流信息， 流信息的设备配置全集） > > 2.数据流 kafka原表 > 主要想实现的目标 发现一段时间内未发送消息的设备 > 主要实现流程 > 1. > 2小时的滑动窗口来distinct所有的设备ID > 2. 查询mysql的设备合集表 查询 ID not in (distinct id from > 滑动窗口) > > 直接查询的时候是没有问题的 能达到批和流一起使用 > 但是结果插入数据库的时候变成了批 mysql中的结果不会变化 > > > 请问这种情况是什么机制 如果是批流一体情况下 回当做批处理那为啥select的时候能实现目标？
Re: 批流一体的一些疑问
HI: 大概的逻辑是这样的 insert mysql_result_table【mysql结果表】 select * from id_all【id的所有合集 mysql表】 where id not in (select distinct id from flink_view【2小时的id的合集】) insert到mysql的时候 结果数据不会随着窗口变动而变化 在 2021年8月9日 10:19，Caizhi Weng 写道： Hi！ 不太明白这里的“结果插入数据库的时候变成了批，mysql 中的结果不会变化”是什么含义。这是说 sink 表和维表是同一张表吗？希望能更清晰地描述场景和做法。 yanyunpeng 于2021年8月9日周一 上午10:12写道： > 发现一个问题大佬能帮忙解答一二？ > 1. 数据中的补充表（补充流信息， 流信息的设备配置全集） > 2.数据流 kafka原表 > 主要想实现的目标 发现一段时间内未发送消息的设备 > 主要实现流程 > 1. 2小时的滑动窗口来distinct所有的设备ID > 2. 查询mysql的设备合集表 查询 ID not in (distinct id from 滑动窗口) > > 直接查询的时候是没有问题的 能达到批和流一起使用 > 但是结果插入数据库的时候变成了批 mysql中的结果不会变化 > > 请问这种情况是什么机制 如果是批流一体情况下 回当做批处理那为啥select的时候能实现目标？
Re: 批流一体的一些疑问
Hi！ 不太明白这里的“结果插入数据库的时候变成了批，mysql 中的结果不会变化”是什么含义。这是说 sink 表和维表是同一张表吗？希望能更清晰地描述场景和做法。 yanyunpeng 于2021年8月9日周一 上午10:12写道： > 发现一个问题大佬能帮忙解答一二？ > 1. 数据中的补充表（补充流信息， 流信息的设备配置全集） > 2.数据流 kafka原表 > 主要想实现的目标 发现一段时间内未发送消息的设备 > 主要实现流程 > 1. 2小时的滑动窗口来distinct所有的设备ID > 2. 查询mysql的设备合集表 查询 ID not in (distinct id from 滑动窗口) > > 直接查询的时候是没有问题的 能达到批和流一起使用 > 但是结果插入数据库的时候变成了批 mysql中的结果不会变化 > > 请问这种情况是什么机制 如果是批流一体情况下 回当做批处理那为啥select的时候能实现目标？
批流一体的一些疑问
发现一个问题大佬能帮忙解答一二？ 1. 数据中的补充表（补充流信息， 流信息的设备配置全集） 2.数据流 kafka原表 主要想实现的目标 发现一段时间内未发送消息的设备 主要实现流程 1. 2小时的滑动窗口来distinct所有的设备ID 2. 查询mysql的设备合集表 查询 ID not in (distinct id from 滑动窗口) 直接查询的时候是没有问题的 能达到批和流一起使用 但是结果插入数据库的时候变成了批 mysql中的结果不会变化 请问这种情况是什么机制 如果是批流一体情况下 回当做批处理那为啥select的时候能实现目标？
