Re: Flink SQL Metrics中Kafka Offset请教

2021-04-25 Thread 占英华 
非常感谢！

> 在 2021年4月25日，19:19，JasonLee <17610775...@163.com> 写道：
> 
> hi
> 
> currentOffsets: 表示的是每个分区的使用者当前读偏移量 , committedOffsets:
> 表示的是最后一次成功提交到Kafka的偏移量 ,因为 kafka 的 partition 的 offset 是从 0开始的 所以
> committedOffsets 会比 currentOffsets 大 1
> 
> 
> 
> -
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink SQL 应用情况请教

2021-02-26 Thread 占英华 
不是指标显示问题，是数据一直没写到mysql中，也没啥错误日志，然后今天早上我把任务重启了下，数据就全部写入到mysql中了

> 在 2021年2月26日，15:02，Smile  写道：
> 
> 你好，
> 
> 关于指标的问题，可以进到具体的算子里面的 Metrics 页面看看每个算子的 numRecordsIn 和
> numRecordsOut，看是哪个算子开始有输入没输出的。
> 上面贴的指标看起来是 Overview 页面上的，这个地方展示的指标是对整个 Chain 起来的整体算的。
> 
> GroupWindowAggregate(groupBy=[stkcode], window=[TumblingGroupWindow('w$,
> matchtime, 6)], properties=[w$start, w$end, w$rowtime, w$proctime],
> select=[stkcode, SUM(volume) AS EXPR$2, start('w$) AS w$start, end('w$) AS
> w$end, rowtime('w$) AS w$rowtime, proctime('w$) AS w$proctime])
> -> Calc(select=[stkcode, CAST(w$end) AS pd, EXPR$2 AS volume])
> -> Sink: Sink(table=[cpp_flink_catalog.default.t_stock_match_1],
> fields=[stkcode, pd, volume])
> 
> 对于这一串而言，Records Received 实际上就是 GroupWindowAggregate 这个算子接收到的数据条数，Records
> Sent 是 Sink 下发的数据条数，但是注意这个“下发”并不是指 invoke 方法执行的次数，而是类似 collector.collect()
> 这种在 Flink 框架内上下游的发送。所以 sink 算子的 Records Sent 应该一直是 0，无论是否成功写数据到 MySQL
> 了。一般我们更关心的是 Sink 算子有没有 numRecordsIn（Records Received），如果有，说明上游算子没问题，是写 MySQL
> 失败了，可以检查下写 MySQL 那部分的配置信息；如果 Sink 算子 numRecordsIn（Records Received） 也是
> 0，那说明是上游有问题，没发数据到 Sink 上，可以依次检查再之前的算子的情况。
> 
> 比如这个是我的作业的截图（第一次插图片不知道能不能显示出来，不能的话我再想办法……），Sink 是 print，一直有在打印数据，但是 overview
> 页面指标一直是 0 的。
>  
>  
> 
> 祝好~
> Smile
> 
> 
> 
> 
> 
> 
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink可以同时对接两套独立kerberos认证的kafka吗

2021-02-19 Thread 占英华 
这个不行吧，kerberos本来支持互信的，现在你的环境不支持没法弄


> 在 2021年2月19日，18:33，liwei li  写道：
> 
> 请问flink是否可以从开启了kerberos的kafka接收数据后，发送到另一个Kerberos认证的kafka，源端和目标端的Kerberos相互独立且不能建立互信。
>  非常感谢！ liwei li 邮箱：hilili...@gmail.com 签名由 网易邮箱大师 定制

Re: 请教个Flink savepoint的问题

2021-01-11 Thread 占英华 
好的，感谢您的帮助！

> 在 2021年1月11日，20:23，Yun Tang  写道：
> 
> Hi,
> 
> 没有暴露现成的API，但是可以参照测试用例的写法，给jobGraph设置 savepointRestoreSettings [1]。
> 
> [1] 
> https://github.com/apache/flink/blob/ab87cf4ec0260c30194f3d8e75be1f43318aa32a/flink-tests/src/test/java/org/apache/flink/test/checkpointing/ResumeCheckpointManuallyITCase.java#L383
> 
> 祝好
> 唐云
> 
> From: yinghua...@163.com 
> Sent: Monday, January 11, 2021 19:07
> To: user-zh 
> Subject: 请教个Flink savepoint的问题
> 
> Flink APi 中我们在java代码中使用客户端调用类ClusterClient如下的方法停止了任务：
> CompletableFuture stopWithSavepoint(JobID var1, boolean var2, 
> @Nullable String 
> var3);然后我们保存了该任务的savepoint信息，那恢复时没看到对应的恢复方法，找了些资料都是通过命令来恢复，有没有直接调用Java API 
> 层次的方法来恢复任务？
> 
> 
> 
> yinghua...@163.com

Re: 请教个Flink sql问题

2020-12-21 Thread 占英华 
学习了，感谢回复！

> 在 2020年12月21日，20:39，hailongwang <18868816...@163.com> 写道：
> 
> 
> 
> 
> 不是的。在提交运行之后，如果那两个 insert 是从同一张表 select 出来的话，是会分流发送到 table1 和 table2，并没有先后顺序。
>> 在 2020-12-21 10:45:25，"占英华"  写道：
>> 这样是不是第一条select和第二条的select出来的结果会有差异，因为执行第一条有耗时，第二条执行时查询的结果是在耗时后查询得到的
>> 
>>>> 在 2020年12月21日，11:14，hailongwang <18868816...@163.com> 写道：
>>> 
>>> 
>>> 
>>> 可以的，比如将结果写入table1，table2 ……
>>> Insert into table1 ……;
>>> Insert into table2 ……;
>>> 
>>> 
>>> 
>>> Best,
>>> Hailong
>>>> 在 2020-12-19 08:30:23，"占英华"  写道：
>>>> Flink sql的dml语句可以将结果写入不同的sink表中吗？如果可以可以怎么处理？

Re: 请教个Flink sql问题

2020-12-20 Thread 占英华 
这样是不是第一条select和第二条的select出来的结果会有差异，因为执行第一条有耗时，第二条执行时查询的结果是在耗时后查询得到的

> 在 2020年12月21日，11:14，hailongwang <18868816...@163.com> 写道：
> 
> 
> 
> 可以的，比如将结果写入table1，table2 ……
> Insert into table1 ……;
> Insert into table2 ……;
> 
> 
> 
> Best,
> Hailong
>> 在 2020-12-19 08:30:23，"占英华"  写道：
>> Flink sql的dml语句可以将结果写入不同的sink表中吗？如果可以可以怎么处理？

请教个Flink sql问题

2020-12-18 Thread 占英华 
Flink sql的dml语句可以将结果写入不同的sink表中吗？如果可以可以怎么处理？

Re: 关于flink-sql 元数据问题

2020-12-13 Thread 占英华 



> 在 2020年12月14日，11:43，Rui Li  写道：
> 
> Hi，
> 
> 调用tableEnv.executeSql("create table
> .")以后表就已经创建了，不需要再调用tableEnv.execute。execute方法已经deprecate，建议统一使用executeSql哈
> 
>> On Fri, Dec 11, 2020 at 7:23 PM JasonLee <17610775...@163.com> wrote:
>> 
>> hi
>> Flink SQL 建的表支持用 hive 的 catalog 来管理元数据,是否可以满足你的需求 ?
>> 
>> 
>> 
>> -
>> Best Wishes
>> JasonLee
>> --
>> Sent from: http://apache-flink.147419.n8.nabble.com/
>> 
> 
> 
> -- 
> Best regards!
> Rui Li

Re: Flink SQL 1.11支持将数据写入到Hive吗？

2020-12-11 Thread 占英华 
感谢答复，我再好好试验下

> 在 2020年12月11日，17:36，Jark Wu  写道：
> 
> 1.11的文档：
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_read_write.html
> 
> 1.12的文档：
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/hive/
> 
>> On Fri, 11 Dec 2020 at 15:45, yinghua...@163.com  wrote:
>> 
>> 看官网介绍是支持的：
>> 
>> 但是找对应的连接器是没有Hive，*是JDBC？*
>> 
>>