Re: 请问同一个flink history server能够支持多个flink application cluster吗？

History Server的API也是使用jobid作为区分 * /config * /jobs/overview * /jobs/ * /jobs//vertices * /jobs//config * /jobs//exceptions * /jobs//accumulators * /jobs//vertices/ * /jobs//vertices//subtasktimes * /jobs//vertices//taskmanagers *

请问同一个flink history server能够支持多个flink application cluster吗？

您好， 我们目前在k8s上以flink application模式运行作业，现在希望部署一个history server方便debug。但是根据文档，flink historyserver貌似只支持单个cluster下不同job的使用方法，如果存在多个cluster，相同的jobID将会出现错误。 请问对于多个application cluster，history使用的最佳姿势是什么样的？ 谢谢[cid:image001.png@01D795B8.6430A670]

Re:Re: Re:Re: flink-connector-redis连接器upsert()模式插入问题

你好： SELECT window_start,window_end,SUM(price),item FROM TABLE( CUMULATE(TABLE Bid,DESCRIPTOR(bidtime),INTERVAL '1' MINUTES,INTERVAL'10' HOUR)) GROUP BY window_start,window_end,item 语句没有问题，正常每1分钟输出一次，过期时间代码已注释， public ChangelogMode getChanglogMode(ChangelogMode arg0){ return

退订

邮件退订

Re: Re:Re: flink-connector-redis连接器upsert()模式插入问题

Hi！ 之前没注意到是 cumulate 窗口，具体的 group by 语句是什么样的呢？描述里写着“小窗口 1 分钟计算一次”，那 sink 确实应该每分钟收到一条消息。 sink 在 streaming 场景可以接收 upsert 消息，只要 getChangelogMode 返回的是 upsert 即可。 李航飞 于2021年8月20日周五 上午10:03写道： > 你好： > 我查到 Sink在Streaming场景 只能接收insert-only ，是这样吗？ > > > > 在 2021-08-20 09:10:44，"李航飞" 写道： > >你好： >

Re:Re: Re: cumulate函数和比较函数连用报错

你好： 具体场景是对agg结果之前进行过滤，现在通过create view进行提取过滤了 现在我想通过DynameicTable的方式，以upsert写入redis里面 在 2021-08-20 10:31:18，"Caizhi Weng" 写道： >Hi！ > >具体的条件是什么样的呢？理论上如果是和原本的 group by ... having ... 等价的语句应该是支持的。 > >李航飞 于2021年8月18日周三 下午4:34写道： > >> 哦哦，好的，谢谢你。比较函数不可以连用，简单的一些的条件（where a = '2'）可以用，这个功能后续还会调整吗 >> 在

Re: Re: cumulate函数和比较函数连用报错

Hi！ 具体的条件是什么样的呢？理论上如果是和原本的 group by ... having ... 等价的语句应该是支持的。 李航飞 于2021年8月18日周三 下午4:34写道： > 哦哦，好的，谢谢你。比较函数不可以连用，简单的一些的条件（where a = '2'）可以用，这个功能后续还会调整吗 > 在 2021-08-18 16:21:20，"Caizhi Weng" 写道： > >Hi！ > > > >目前 window tvf 只能应用于 window agg 和 window top-n 两种场景。如果 where 条件是用来对 window > >agg

Re: Flink SQL Api不支持TIMESTAMP(p) WITH TIME ZONE 类型的列

你好 感谢解答，我仔细看了下Flink Table API & SQL Data Types页面： https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/dev/table/types/ ，

Re:Re:Re: flink-connector-redis连接器upsert()模式插入问题

你好： 我查到 Sink在Streaming场景 只能接收insert-only ，是这样吗？ 在 2021-08-20 09:10:44，"李航飞" 写道： >你好： >我确实设置了过期时间，我将过期时间的代码注释了，但还是每分钟落地一次。 > > >我在RichMapFunction接口里面实现open方法 >设置过StateTtlConfig; >之后在RedisConmmand.SETEX设置过期时间 >都注释了，但upsert()方法还是没效 > > > > > > > > > > > > > > >在 2021-08-19 17:44:02，"Caizhi Weng"

Re:Re: flink-connector-redis连接器upsert()模式插入问题

你好： 我确实设置了过期时间，我将过期时间的代码注释了，但还是每分钟落地一次。 我在RichMapFunction接口里面实现open方法 设置过StateTtlConfig; 之后在RedisConmmand.SETEX设置过期时间 都注释了，但upsert()方法还是没效 在 2021-08-19 17:44:02，"Caizhi Weng" 写道： >Hi！ > >可以在接受 sink 数据的方法里 System.out.println 看看是否真的每分钟收到一次数据。 > >如果是的话，应该是设置了 state ttl

Re: Process suspend when get Hana connection in open method of sink function

If the Hana driver cannot be loaded then the most likely reason is that the dependency is not actually on the classpath. Please double-check that your user jar bundles the dependency. On 18/08/2021 15:05, Chenzhiyuan(HR) wrote: Dear all: I have a problem when I want to sink data to Hana

Re: Flink SQL Api不支持TIMESTAMP(p) WITH TIME ZONE 类型的列

Hello, Flink 还不支持 TIMESTAMP WITH TIME ZONE 类型， 目前支持的有： TIMESTAMP WITHOUT TIME ZONE, 缩写为 TIMESTAMP TIMESTAMP WITH LOCAL TIME ZONE，缩写为TIMESTAMP_LTZ 祝好， Leonard > 在 2021年8月19日，20:51，changfeng 写道： > > ` TIMESTAMP(6) WITH TIME ZONE

Re: Flink SQL Api不支持TIMESTAMP(p) WITH TIME ZONE 类型的列

Hi！ 目前 timestamp 相关类型只支持普通的 timestamp 还有 timestamp with local time zone 这两种。如果是有把 Fri Mar 26 12:27:05 IST 2021 这种带时区的 string 转成 timestamp 的需求，建议使用 date_format 函数。 changfeng 于2021年8月19日周四 下午8:52写道： > 你好， 我最近在使用Flink 1.13.1版本的SQL Api时，遇到了不支持TIMESTAMP(p) WITH TIME ZONE > 类型数据的问题： > 使用SQL: CREATE

Flink SQL Api不支持TIMESTAMP(p) WITH TIME ZONE 类型的列

你好， 我最近在使用Flink 1.13.1版本的SQL Api时，遇到了不支持TIMESTAMP(p) WITH TIME ZONE 类型数据的问题： 使用SQL: CREATE TABLE source ( `ctimestamp` TIMESTAMP(6) WITH TIME ZONE) WITH ('connector' = 'print’) 创建表，报错： Caused by: org.apache.calcite.sql.parser.SqlParseException: Encountered "TIME" at line 1, column 55. Was

Re: 请问如何从源码构建flink docker镜像？

Hi！ 如果只是改了 java 代码，可以先把 flink 编译出来，然后基于最新的镜像，把你编译出来的 flink（位于 flink-dist/target/flink-）的 lib 目录里的所有 jar COPY 到镜像的 lib 目录即可。 Chenyu Zheng 于2021年8月19日周四 下午7:38写道： > Hi, > > 我最近对于手头的源码进行了些许修改，请问如何从源码构建docker镜像？这将方便我进行下一步测试 > > 谢谢 >

请问如何从源码构建flink docker镜像？

Hi, 我最近对于手头的源码进行了些许修改，请问如何从源码构建docker镜像？这将方便我进行下一步测试 谢谢

Re: flink-connector-redis连接器upsert()模式插入问题

Hi！ 可以在接受 sink 数据的方法里 System.out.println 看看是否真的每分钟收到一次数据。 如果是的话，应该是设置了 state ttl 的缘故。为了防止数据过期，group agg 就算每次收到同样的 key value，仍然会往下游发数据（详见 GroupAggFunction#processElement），所以这是一个预期行为。 李航飞 于2021年8月19日周四 下午5:03写道： > 版本 flink1.13.2 > 具体场景 > flink-connector-redis自定义连接器，在实现DynamicTableSink接口时， >

flink-connector-redis连接器upsert()模式插入问题

版本 flink1.13.2 具体场景 flink-connector-redis自定义连接器，在实现DynamicTableSink接口时， 通过重写getChangelogMode方法，设置ChangelogMode.upsert()模式，以更新的方式进行数据写入， 使用的窗口时cumulate函数 开1天的窗口，小窗口1分钟计算一次 问题： 测试发现，每1分钟都会输出一次，落地的数据一样， 根据upsert()模式，正常来说一样的数据应该不会触发redis存储，这个是什么情况？

关于InfluxDB中大量监控指标的count为0

Hi! 我最近在为Flink集群搭建监控，使用了InfluxDB+Grafana。在关注每秒同步行数以及每秒同步数据大小时，我使用了以下相关指标： taskmanager_job_task_numRecordsIn、taskmanager_job_task_Shuffle_Netty_Input_numBytesInLocalPerSecond 让我感到的奇怪的是，当我去查询InfluxDB时，指标的count都为空 > select * from >