Hi,
我觉得你可以多试几种方式，比如先关联再去重，测试一下性能呢？另外，去重的话，你这个业务逻辑是用es字段排序取最新，不能用procetime去重取最新吗？你的sql中rowNum<=1实际上生成的应该是Rank算子，不是Deduplication算子吧。我在业务中对订单类型的数据是这样用去重算子的，select
* from (select *, row_number() over(partition by id order by proctime desc as
rowNum from xxx) tmp where rowNum =
hi、
我这面state backend用的是FsStateBackend，状态保存在hdfs
On Mon, May 11, 2020 at 11:19 AM Benchao Li wrote:
> Hi，
>
> 你用的是什么state backend呢？看你的情况很有可能跟这个有关系。比如用的是rocksdb，然后是普通磁盘的话，很容易遇到IO瓶颈。
>
> 宇张 于2020年5月11日周一 上午11:14写道：
>
> > hi、
> > 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题：
> > 1、使用row_number函数丢失主键
>
Hi，
你用的是什么state backend呢？看你的情况很有可能跟这个有关系。比如用的是rocksdb，然后是普通磁盘的话，很容易遇到IO瓶颈。
宇张 于2020年5月11日周一 上午11:14写道：
> hi、
> 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题：
> 1、使用row_number函数丢失主键
> 2、row_number函数和时态表关联联合使用程序吞吐量严重降低，对应sql如下：
> // 理论上这里面是不需要 distinct的，但sql中的主键blink提取不出来导致校验不通过，所以加了一个
> SELECT
hi、
我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题：
1、使用row_number函数丢失主键
2、row_number函数和时态表关联联合使用程序吞吐量严重降低，对应sql如下：
// 理论上这里面是不需要 distinct的，但sql中的主键blink提取不出来导致校验不通过，所以加了一个
SELECT distinct t1.id as order_id,...,DATE_FORMAT(t1.proctime,'-MM-dd
HH:mm:ss') as etl_time FROM (select id,...,proctime from
我的flink SQL 的时候使用了topN语法，在程序运行一段时间后出现了如下错误：
[flink-akka.actor.default-dispatcher-8695] INFO
org.apache.flink.runtime.executiongraph.ExecutionGraph -
Rank(strategy=[AppendFastStrategy], rankType=[ROW_NUMBER],
rankRange=[rankStart=1, rankEnd=1], partitionBy=[contact_id, service_no],
Hi,How to get the applicationid internally when the Flink is running on yarn?
Thanks.
flink版本：1.9
stateBackEnd：FsStateBackEnd
附件：
checkpoint失败截图及日志，应该如何分析解决这种失败？2020-05-10 21:22:09,336 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
-
2020-05-10 21:22:09,337 INFO
flink版本：1.9
stateBackEnd：FsStateBackEnd
附件：
checkpoint失败截图及日志，应该如何分析解决这种失败？
2020-05-10 21:22:09,336 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
-
2020-05-10 21:22:09,337 INFO
附件为日志，麻烦帮忙分析一下。
2020-05-10 21:22:09,336 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
-
2020-05-10 21:22:09,337 INFO org.apache.flink.yarn.YarnTaskExecutorRunner
- Starting
