Re: Flink SQL 能处理延时丢弃的数据吗？

[Zhizhao Shangguan]

  谢谢 Zhanghao。上午已经测试过了，简单功能是可以，后面会进一步验证这个试验性功能。

在 2022/7/15 下午12:26，“Zhanghao 
Chen” 写入:

你好，可以看下：https://www.mail-archive.com/issues@flink.apache.org/msg498605.html 
的总结。不过这个特性还是实验性的，请谨慎使用。

Best,
Zhanghao Chen

From: Zhizhao Shangguan 
Sent: Friday, July 15, 2022 10:44
To: user-zh@flink.apache.org 
Subject: Flink SQL 能处理延时丢弃的数据吗？

Hi，ALL：



   咨询个问题，对于超过watermark后的数据，还想继续触发窗口操作（类似API的allowedLateness机制），flink 
SQL可以实现吗？ 可以话，要如何处理的？



Thanks♪(･ω･)ﾉ

Flink SQL 能处理延时丢弃的数据吗？

[Zhizhao Shangguan]

Hi，ALL：

 

   咨询个问题，对于超过watermark后的数据，还想继续触发窗口操作（类似API的allowedLateness机制），flink 
SQL可以实现吗？ 可以话，要如何处理的？

 

Thanks♪(･ω･)ﾉ

Re: PyFlink on Yarn, Per-Job模式，如何增加多个外部依赖jar包?

[Zhizhao Shangguan]

HI Wei Zhong,

  感谢您的回复！

  发现是软链的问题（lib目录下的jar包不能用软链），去掉后就可以了。
  


在 2021/1/6 上午11:06，“Wei 
Zhong” 写入:

Hi Zhizhao,

能检查一下'file://' 后面跟的是绝对路径吗？这个报错是因为对应的路径在本地磁盘上找不到导致的。

> 在 2021年1月6日，10:23，Zhizhao Shangguan  写道：
> 
> Hi:
>   PyFlink on Yarn, 
Per-Job模式，如何增加多个外部依赖jar包？比如flink-sql-connector-kafka、flink-connector-jdbc等。
>  
>  环境信息
>  Flink 版本：1.11.0
>  Os: mac
>  
>  尝试了如下方案，遇到了一些问题
> 1、  按照官网cli说明[1]：-j 可以指定jar包，但只能添加一个，后面在加-j不生效。
> 2、 按照依赖管理说明[2]：使用pipeline.jars，会报找不到文件的错误
> 配置信息
> t_env.get_config().get_configuration().set_string("pipeline.jars", 
"file:///path/flink-sql-connector-kafka_2.11-1.11.0.jar;file:///path/flink-connector-jdbc_2.11-1.11.0.jar;file:///path/mysql-connector-java-5.1.38.jar
 
")
>  
> 启动命令
> # flink run -m yarn-cluster -pyarch venv.zip -pyexec 
venv.zip/venv/bin/Python -py StreamingKafkaToMysql.py
>  
> 错误信息
> 
>  
> [1] 
https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html 
<https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.html>
> [2] 
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html
 
<https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/python/table-api-users-guide/dependency_management.html>