退订
退订
Replied Message
| From | Eleanore Jin |
| Date | 09/26/2023 01:50 |
| To | user-zh |
| Subject | Default Flink S3 FileSource timeout due to large file listing |
Hello Flink Community,
Flink Version: 1.16.1, Zookeeper for HA.
My Flink Applications reads raw parquet files hosted in
Hello Flink Community,
Flink Version: 1.16.1, Zookeeper for HA.
My Flink Applications reads raw parquet files hosted in S3, applies
transformations and re-writes them to S3, under a different location.
Below is my code to read from parquets from S3:
```
final Configuration configuration = new
Hi Hangxiang,
感谢您的回应。
下面是该问题的关键代码，main_stream表是流数据源，数据事件流频约每笔500ms~1s，目前尝试将t1minStream和t5minStream
assignTimestampsAndWatermarks(WatermarkStrategy.noWatermarks())是不会产生这问题造成作业失败了，但输出会有数据丢失。
如有其他思路，麻烦你了。
String t1minSql = "SELECT rowtime, key, id, AVG(num) OVER w_t1min AS avg_t1min
FROM
Hi,
可以通过设置 table.exec.state.ttl 来控制状态算子的 state TTL. 更多信息请参阅 [1]
[1]
https://nightlies.apache.org/flink/flink-docs-master/zh/docs/dev/table/concepts/overview/#%e7%8a%b6%e6%80%81%e7%ae%a1%e7%90%86
Best,
Jane
On Thu, Sep 21, 2023 at 5:17 PM faronzz wrote:
> 试试这个
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2]
管理你的邮件订阅。
Please send email to user-zh-unsubscr...@flink.apache.org if you want to
unsubscribe the mail from user-zh@flink.apache.org ,
and you can refer [1][2] for more details.
Best,
Hi, 请问下是 SQL 作业还是 DataStream 作业，可以提供一些可复现的关键 SQL 或代码吗
On Sat, Sep 23, 2023 at 3:59 PM Phoes Huang wrote:
> Hi,
>
> 单机本地开发执行，遇到该问题，请问有人遇过并解决吗？
>
> 2023-09-23 13:52:03.989 INFO
> [flink-akka.actor.default-dispatcher-9][Execution.java:1445] - Interval
> Join (19/20)
>
在使用使用jemalloc内存分配器一段时间后，出现checkpoint
超时，任务卡住的情况，哪位遇到过呢？flink版本：flink-1.13.2，jiemalloc版本：5.3.0
After using the jemalloc memory allocator for a period of time, checkpoint
timeout occurs and tasks are stuck. Who has encountered this? flink
version:1.13.2, jiemalloc version: 5.3.0
请教一下，flink的两阶段提交对于sink算子，预提交是在做检查点的哪个阶段触发的？预提交时具体是做了什么工作？
Hi,
单机本地开发执行，遇到该问题，请问有人遇过并解决吗？
2023-09-23 13:52:03.989 INFO
[flink-akka.actor.default-dispatcher-9][Execution.java:1445] - Interval Join
(19/20)
(ff8e25fb94208d3c27f549a1e24757ea_e8388ada9c03cfdb1446bb3ccfbd461b_18_0)
switched from RUNNING to FAILED on d569c5db-6882-496b-9e92-8a40bb631784 @
本人目前再做实时计算平台，想审计平台上所有运行flink任务的中间件的连接信息。比如job1
是kafka写入hbase的flink任务，希望可以自动审计此任务所连接的kafka的集群ip地址和topic以及hbase的集群ip地址和表信息
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
试试这个 t_env.get_config().set("table.exec.state.ttl", "86400 s")
| |
faronzz
|
|
faro...@163.com
|
回复的原邮件
| 发件人 | 小昌同学 |
| 发送日期 | 2023年09月21日 17:06 |
| 收件人 | user-zh |
| 主题 | Flink SQL的状态清理 |
各位老师好，请教一下大家关于flink sql的状态清理问题，我百度的话只找到相关的minbath设置，sql是没有配置state的ttl设置嘛
| |
小昌同学
|
|
各位老师好，请教一下大家关于flink sql的状态清理问题，我百度的话只找到相关的minbath设置，sql是没有配置state的ttl设置嘛
| |
小昌同学
|
|
ccc0606fight...@163.com
|
你好，除了这些运维手段外，flink cdc本身有什么解法吗，比如说增量阶段不用从头开始读binlog，因为其实很多都是重复读到的数据
> 2023年9月20日 21:00，Jiabao Sun 写道：
>
> Hi,
> 生产环境的binlog还是建议至少保留7天，可以提高故障恢复时间容忍度。
> 另外，可以尝试增加snapshot的并行度和资源来提升snapshot速度，snapshot完成后可以从savepoint恢复并减少资源。
> Best,
> Jiabao
>
把这个 pr https://github.com/apache/flink/pull/19352 revert 掉，然后重新打包 flink hive
connector 就可以。
Best regards,
Yuxia
- 原始邮件 -
发件人: "迎风浪子" <576637...@qq.com.INVALID>
收件人: "user-zh"
发送时间: 星期二, 2023年 9 月 19日 下午 5:20:58
主题: 回复：flink1.17版本不支持hive 2.1版本了吗
我们还在使用hive1.1.0，怎么办？
---原始邮件---
发件人:
以mysql
cdc为例，现在的f整体流程是先同步全量数据，再开启增量同步；我看代码目前增量的初始offset选择的是所有全量split的最小的highwatermark。那我如果全量数据很大，TB级别，全量同步可能需要很久，但是binlog又不能删除，这样堆积起来会占用很大的空间，不知道这个问题现在有什么常见的解法吗？
Hi,
生产环境的binlog还是建议至少保留7天，可以提高故障恢复时间容忍度。
另外，可以尝试增加snapshot的并行度和资源来提升snapshot速度，snapshot完成后可以从savepoint恢复并减少资源。
Best,
Jiabao
--
From:jinzhuguang
Send Time:2023年9月20日(星期三) 20:56
To:user-zh
Subject:Flink cdc 2.0 历史数据太大，导致log积压怎么解决
以mysql
cdc为例，现在的f整体流程是先同步全量数据，再开启增量同步；我看代码目前增量的初始offset选择的是所有全量split的最小的highwatermark。那我如果全量数据很大，TB级别，全量同步可能需要很久，但是binlog又不能删除，这样堆积起来会占用很大的空间，不知道这个问题现在有什么常见的解法吗？
CVE-2023-41834: Apache Flink Stateful Functions allowed HTTP header
injection due to Improper Neutralization of CRLF Sequences
Severity: moderate
Vendor:
The Apache Software Foundation
Versions Affected:
Stateful Functions 3.1.0 to 3.2.0
Description:
Improper Neutralization of CRLF Sequences
The Apache Flink community is excited to announce the release of
Stateful Functions 3.3.0!
Stateful Functions is a cross-platform stack for building Stateful
Serverless applications, making it radically simpler to develop
scalable, consistent, and elastic distributed applications. This new
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件
Best,
Zhanghao Chen
发件人: Lynn Chen
发送时间: 2023年9月15日 16:56
收件人: user-zh@flink.apache.org
主题: 退订
退订
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件
Best,
Zhanghao Chen
发件人: im huzi
发送时间: 2023年9月15日 18:14
收件人: user-zh@flink.apache.org
主题: Re: flink-metrics如何获取applicationid
退订
On Wed, Aug 30, 2023 at 19:14
退订
On Wed, Aug 30, 2023 at 19:14 allanqinjy wrote:
> hi，
>请教大家一个问题，就是在上报指标到prometheus时候，jobname会随机生成一个后缀，看源码也是new Abstract
> ID（），有方法在这里获取本次上报的作业applicationid吗？
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2]
管理你的邮件订阅。
Please send email to user-zh-unsubscr...@flink.apache.org if you want to
unsubscribe the mail from user-zh@flink.apache.org ,
and you can refer [1][2] for more details.
Best,
请问好使吗，怎么使用的
| |
吴先生
|
|
15951914...@163.com
|
回复的原邮件
| 发件人 | allanqinjy |
| 发送日期 | 2023年8月30日 20:02 |
| 收件人 | user-zh@flink.apache.org |
| 主题 | 回复：flink-metrics如何获取applicationid |
多谢了，明天改一下代码试试
回复的原邮件
| 发件人 | Feng Jin |
| 发送日期 | 2023年08月30日 19:42 |
| 收件人 | user-zh |
| 主题 |
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2]
管理你的邮件订阅。
Please send email to user-zh-unsubscr...@flink.apache.org if you want to
unsubscribe the mail from user-zh@flink.apache.org ,
and you can refer [1][2] for more details.
Best,
Hi,
请发送任意内容的邮件到 user-zh-unsubscr...@flink.apache.org 地址来取消订阅来自
user-zh@flink.apache.org 邮件组的邮件，你可以参考[1][2]
管理你的邮件订阅。
Please send email to user-zh-unsubscr...@flink.apache.org if you want to
unsubscribe the mail from user-zh@flink.apache.org ,
and you can refer [1][2] for more details.
Best,
退订
发自我的 iPhone
退订
发自我的 iPhone
退订
退订
退订
退订
Hi,
https://flink-learning.org.cn/article/detail/c1db8bc157c72069979e411cd99714fd
这篇文章中有一些关于 Flink RocksDB write buffer 和 block cache 内存计算的理论和实例讲解，可以参考下
On Fri, Sep 1, 2023 at 2:56 PM crazy <2463829...@qq.com.invalid> wrote:
> 大佬们好，
>flink1.13.5
>
退订请发送邮件至 user-zh-unsubscr...@flink.apache.org
Best,
Jane
On Sun, Sep 3, 2023 at 6:15 PM lei-tian wrote:
> 退订
>
>
> | |
> lei-tian
> |
> |
> totorobabyf...@163.com
> |
退订
| |
lei-tian
|
|
totorobabyf...@163.com
|
Hi,
是流式作业还是批式作业无法恢复吗？从错误上看作业已经处于结束状态，你可以查看一下有没有其他错误日志，看看为什么作业失败退出了
Best,
Shammon FY
On Thu, Aug 31, 2023 at 7:47 PM denghaibin wrote:
> flink-1.16.0任务运行一段时间后，大批量任务失败。错误日志如下。麻烦大佬看下是什么问题
> java.util.concurrent.CompletionException:
> org.apache.flink.util.FlinkRuntimeException: Could not
flink-1.16.0任务运行一段时间后，大批量任务失败。错误日志如下。麻烦大佬看下是什么问题
java.util.concurrent.CompletionException:
org.apache.flink.util.FlinkRuntimeException: Could not retrieve JobResults of
globally-terminated jobs from JobResultStore
at
多谢了，明天改一下代码试试
回复的原邮件
| 发件人 | Feng Jin |
| 发送日期 | 2023年08月30日 19:42 |
| 收件人 | user-zh |
| 主题 | Re: flink-metrics如何获取applicationid |
hi,
可以尝试获取下 _APP_ID 这个 JVM 环境变量.
System.getenv(YarnConfigKeys.ENV_APP_ID);
多谢，明天修改一下代码试试
回复的原邮件
| 发件人 | Feng Jin |
| 发送日期 | 2023年08月30日 19:42 |
| 收件人 | user-zh |
| 主题 | Re: flink-metrics如何获取applicationid |
hi,
可以尝试获取下 _APP_ID 这个 JVM 环境变量.
System.getenv(YarnConfigKeys.ENV_APP_ID);
hi,
可以尝试获取下 _APP_ID 这个 JVM 环境变量.
System.getenv(YarnConfigKeys.ENV_APP_ID);
https://github.com/apache/flink/blob/6c9bb3716a3a92f3b5326558c6238432c669556d/flink-yarn/src/main/java/org/apache/flink/yarn/YarnConfigKeys.java#L28
Best,
Feng
On Wed, Aug 30, 2023 at 7:14 PM allanqinjy wrote:
> hi，
hi，
请教大家一个问题，就是在上报指标到prometheus时候，jobname会随机生成一个后缀，看源码也是new Abstract
ID（），有方法在这里获取本次上报的作业applicationid吗？
是的我的任务的jar包里包含动态编译所有依赖的， 任务的jar是通过 k8s Apllication模式 userJar 方式进行动态加载的；
在 2023-08-30 12:14:18，"孙路昊" 写道：
>依赖的jar包，有编译到启动jar包里面吗
>
>周坤 <18679131...@163.com>于2023年8月30日 周三11:15写道：
>
>>
>> 你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中，
>> 按照YARN
依赖的jar包，有编译到启动jar包里面吗
周坤 <18679131...@163.com>于2023年8月30日 周三11:15写道：
>
> 你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中，
> 按照YARN PER模式该方式是没有问题， 但是在K8s
> Apllication模式，会找不到原始class文件中的依赖，其实在UserJar中有该文件的类依赖的；
> 目前发现这个依赖类单独打jar包放在在lib目录下在框架运行时就加载才能找到依赖类，但是又不太符合规范；
你好！在K8s模式中，动态编译缺失运行在UserJar中，启动的时候通过RIch算子的Open方法从第三方拉取原始class文件，然后进行动态编译进行缓存内存中，
按照YARN PER模式该方式是没有问题， 但是在K8s
Apllication模式，会找不到原始class文件中的依赖，其实在UserJar中有该文件的类依赖的；
目前发现这个依赖类单独打jar包放在在lib目录下在框架运行时就加载才能找到依赖类，但是又不太符合规范；
在 2023-08-24 10:30:20，"Weihua Hu" 写道：
Hi,
抱歉我对 JavaCompiler
??
??rocksdb??
flink??1.13.5
flink on yarn
??block_cache??write_buffer_manager
block_cache_capacity=((3 - writeBufferRatio) *
totalMemorySize / 3)
write_buffer_manager=(2 * totalMemorySize *
writeBufferRatio / 3)
Loglevel 设置为 debug 之后，可以看到具体的 codegen 的代码。
On Mon, Aug 28, 2023 at 1:25 PM 海风 <18751805...@163.com> wrote:
> 嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的
>
>
>
> 回复的原邮件
> | 发件人 | Shammon FY |
> | 日期 | 2023年08月28日 12:05 |
> | 收件人 | user-zh@flink.apache.org |
> | 抄送至
退订
退订
退订
嗯，执行计划确实可以看到一些信息，只是还想知道是否还有比较好的方式能看具体有哪些底层函数以及状态，从而更方便去分析性能相关问题的
回复的原邮件
| 发件人 | Shammon FY |
| 日期 | 2023年08月28日 12:05 |
| 收件人 | user-zh@flink.apache.org |
| 抄送至 | |
| 主题 | Re: flink sql语句转成底层处理函数 |
如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划
[1]
如果想看一个sql被转换后包含哪些具体执行步骤，可以通过explain语法[1]查看执行计划
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/dev/table/sql/explain/
On Sun, Aug 27, 2023 at 5:23 PM 海风 <18751805...@163.com> wrote:
> 请教下，是否可以去查询一个flink
> sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？
>
>
>
请教下，是否可以去查询一个flink
sql提交运行后，flink给它转成的底层处理函数到底是什么样的，假如涉及状态计算，flink给这个sql定义的状态变量是哪些呢？
发件人: faronzz
发送时间: 2023年8月26日 22:12
收件人: user-zh@flink.apache.org
主题: pyflink aggfunction in window tvf can not sink connection='kafka', it
notice consuming update changesm, java aggfunction and aggfunction in flink,
such as sum is ok
hi~
I came across
hi~
I came across a problem I didn't understand，I can't use pyflink
aggfuction function properly in window tvf, The following are available：
java aggfuntion
flink system aggfunction
window (not window tvf)
I want to know if this is a bug or if I'm using it the wrong way？
pyflink 1.17.1
日本福岛第一核电站的核处理水排入大海，中国外交部除了向日本政府提出严重交涉外，并开动宣传机器宣传"核污水排海可致癌"等负面消息，登上微博热搜。中国各地居民担心盐被污染，掀起抢购食盐的浪潮。
日本政府于本周四（24日）中午启动福岛第一核电站处理过的核废水排入太平洋的相关计划。中国各大媒体通过社交平台发出有关日本核污水可致癌、致畸，甚至造成人体DNA断裂的消息。封面新闻引述专家称，日本核污水排放可能造成基因损害。人民网指美国一边支持日本将污水排放到海里一边减少进口日本农林水产；新华社则报道指多名福岛居民接受新华社记者采访时，谴责日本政府和东京电力公司违反当初不擅自处理核污染水的承诺.
资料显示，渐冻症一般指肌萎缩侧索硬化，它是上运动神经元和下运动神经元损伤之后，导致包括球部（指延髓支配的这部分肌肉）、四肢、躯干、胸部腹部的肌肉逐渐无力和萎缩。
发件人: tison
发送时间: 2023年8月26日 10:15
收件人: user-zh@flink.apache.org ;
priv...@flink.apache.org
主题: Re: 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
I suggest we should ban this spamming source..
I suggest we should ban this spamming source..
Best,
tison.
北野 曉美 于2023年8月26日周六 08:11写道：
> 朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
>
> 一位联合国高级政治事务官员今天表示，朝鲜最近发射的军事侦察卫星对国际民航和海上交通构成了重大威胁，强调需要采取切实可行的措施来缓解朝鲜半岛的紧张局势，为对话创造空间。
>
>
> 和平与安全
> 考克斯巴扎尔的一个罗兴亚难民营受到气旋“摩卡”冲击。
> 缅甸罗兴亚危机爆发六周年，联合国呼吁寻求全面、持久和包容解决方案
>
>
朝鲜第二次发射军事侦察卫星，对话是解决问题的“唯一出路”
一位联合国高级政治事务官员今天表示，朝鲜最近发射的军事侦察卫星对国际民航和海上交通构成了重大威胁，强调需要采取切实可行的措施来缓解朝鲜半岛的紧张局势，为对话创造空间。
和平与安全
考克斯巴扎尔的一个罗兴亚难民营受到气旋“摩卡”冲击。
缅甸罗兴亚危机爆发六周年，联合国呼吁寻求全面、持久和包容解决方案
在8月25日缅甸西部若开邦罗兴亚人开始大规模出逃六年整之际，联合国秘书长古特雷斯通过发言人发表声明，呼吁国际社会继续针对缅甸危机寻求全面、包容和持久的解决方案。
人道主义援助
可以在 open 方法初始化规则
haishui 于2023年8月24日周四 14:41写道：
> Hi all，
>
>
> 对于广播状态[1]文档中提到的事件流和规则流匹配问题，想问问大家有什么好的办法保证规则流应该加载完成后再处理事件流。
>
>
> 我想通过mysql
> cdc加载规则，在快照消费完之前，已经有事件消费了而且没有匹配到相应的规则，有没有办法能够在快照处理结束后再开始消费kafka里面的事件
>
>
> [1]
>
这种join写法会随时更新里面每一个字段，最终产出结果的业务含义是什么呢？
如果是取每个vehicle_code对应的最新统计指标值，是否可以用支持partial update的存储，用多个单独的sql直接写入目前就可以了
周先明 于2023年8月4日周五 11:01写道：
> Regular Join 默认把数据都存储在State中，通常会结合TTL来进行优化
>
> guanyq 于2023年8月3日周四 15:59写道：
>
> > 请问下多个表关联，这种flink sql如何优化呢，直接关联优点跑不动RuntimeExecutionMode.STREAMING 模式
> >
发送自我的盖乐世发轮大法好
原始信息 发件人： 北野 曉美 日期: 2023/8/24 23:43
(GMT+08:00) 收件人： flink-zh 主题： 普里戈任专机，是被导弹打下来的？
俄罗斯私营军事实体瓦格纳组织的领导人普里戈任当地时间8月23日乘坐的专机坠毁后，各种关于专机失事原因的推测快速发酵。
俄罗斯社交媒体上，虽然不乏“他还活着”的传闻，但普里戈任的好友、俄罗斯右翼思想家杜金等人已公开悼念这位“坚强，自信，大胆的人”。圣彼得堡的原瓦格纳组织总部门口被普里戈任支持者摆放了鲜花，俄罗斯总统普京则已紧急回到莫斯科。俄罗斯总统新闻秘书佩斯科夫对媒体表示，普京已经得知了此事，并已经采取了必要的措施。
Hi all，
对于广播状态[1]文档中提到的事件流和规则流匹配问题，想问问大家有什么好的办法保证规则流应该加载完成后再处理事件流。
我想通过mysql cdc加载规则，在快照消费完之前，已经有事件消费了而且没有匹配到相应的规则，有没有办法能够在快照处理结束后再开始消费kafka里面的事件
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.17/docs/dev/datastream/fault-tolerance/broadcast_state/
Hi,
抱歉我对 JavaCompiler 不是非常了解，我想知道这些动态编译是运行在 UserJar 的 main 方法中吗？以及编译的产物是怎么传递给
Flink 的？
Best,
Weihua
On Tue, Aug 22, 2023 at 5:12 PM 周坤 <18679131...@163.com> wrote:
> 你好！
>
> 有一个关于flink K8S apllication模式运行的问题需要解答下；
>
> 原本又yarn per模式运行的flink需要切换到K8s apllication模式;
>
>
>
>
>
Hi devs,
Thanks Giannis for your suggestion. It seems that the last email wasn't
sent to the dev ML. It is also an interesting topic for devs and user-zh.
Best regards,
Jing
-- Forwarded message -
From: Giannis Polyzos
Date: Tue, Aug 22, 2023 at 11:11 AM
Subject: [Discussion]
好嘞~那我直接粘一下
1. FlinkSQL代码
CREATE TEMPORARY VIEW IF NOT EXISTS rt_view AS
SELECT user_id
, run_duration_3km_prediction
, run_duration_5km_prediction
, run_duration_10km_prediction
, run_duration_21km_prediction
, run_duration_42km_prediction
, LEAST(run_duration_3km_prediction/ 3,
邮件里无法加载图片
guifeng huang 于2023年8月21日周一 11:08写道：
>
> 因为是在流里, 我不太清楚如何给您复现的用例比较合适, 因为把数据单独拿出来, 返回结果又是正常的...
> 以下我把我的FlinkSQL代码和输出结果贴图一下(您看下是否OK)
> *FlinkSQL代码*
> 视图tmp_view是我从日志里过滤的数据, 整体业务逻辑比较简单就是lactate_threshold_pace这个是从下面5个指标里取一个最小值
> (
>
因为是在流里, 我不太清楚如何给您复现的用例比较合适, 因为把数据单独拿出来, 返回结果又是正常的...
以下我把我的FlinkSQL代码和输出结果贴图一下(您看下是否OK)
FlinkSQL代码
视图tmp_view是我从日志里过滤的数据, 整体业务逻辑比较简单就是lactate_threshold_pace这个是从下面5个指标里取一个最小值 (
Hi,
方便提供一下复现的用例吗?
Best,
Jiabao
On 2023/08/21 02:19:53 guifeng huang wrote:
> (Flink1.15版本)
> 咨询求助: Least函数输入参数(Double类型)正常, 在Flink shell里测试函数无问题, 结果符合预期.
> 但是实际生产流里进行使用的时候发现返回结果有异, 以下是3种case
> - 返回结果正确, 符合预期
> - 返回0, 不符合预期, 未知原因
> - 返回结果和理论正确值有微小的gap, 找了几个case都是1位数值里的差距.
> 看看有没有其他的老师遇到过同样的问题
(Flink1.15版本)
咨询求助: Least函数输入参数(Double类型)正常, 在Flink shell里测试函数无问题, 结果符合预期.
但是实际生产流里进行使用的时候发现返回结果有异, 以下是3种case
- 返回结果正确, 符合预期
- 返回0, 不符合预期, 未知原因
- 返回结果和理论正确值有微小的gap, 找了几个case都是1位数值里的差距.
看看有没有其他的老师遇到过同样的问题
问题一：
做checkpoint时，是每个算子收到barriers之后，将状态和offset写到状态后端，并返回ack给jm之后。再做一次全量快照到jm内存或者自己设置的hdfs文件路径下啊。不理解在hdfs生成的checkpoint文件到底是2pc提交事务成功之后的checkpoint还是每个算子做完checkpoint。
是图1：
还是图二：
问题二：
做完2pc之后。出现了故障。做故障恢复。恢复的状态是上一次提交事务成功的地方的状态。还是上一个barriers所在算子做的checkpoint成功的地方开始恢复。
| |
zyzandmz
|
|
可以 savepoint 到 HDFS，然后配置 checkpoint 的地址为 对象存储。
我们就是 flink 支持对象存储和 HDFS。
Hangxiang Yu 于2023年8月2日周三 14:03写道：
> Hi, 我理解可以有两种方式：
> 1. 设定从某个存储集群上恢复并向另一个存储集群上快照，即设置[1]为 HDFS地址，[2] 为后面的对象存储地址
> 2. 还是在HDFS集群上启停作业，设置 savepoint 目录[3]到对象存储
>
> 关于 state processor api，目前 sql 作业确实操作起来比较困难，只能从日志里获取 uid
1 可控范围即可。
2 分析阶段可以分开，实际运行阶段看情况，怎样性能高就如何搞。
3 看监控，flink web ui有根据每个节点的反压情况按照不同颜色展示。
星海 <2278179...@qq.com.invalid> 于2023年8月16日周三 22:03写道：
>
> hello。大家好，请教几个问题：
> 1、flink中背压存在是合理的吗？还是在可控范围内就行？还是尽可能没有呢？
> 2、如果出现背压，如果多个operator chain 在一起不好分析，需要先将其拆开分析吗？
>
The Apache Flink community is very happy to announce the release of Apache
Flink Kubernetes Operator 1.6.0.
The Flink Kubernetes Operator allows users to manage their Apache Flink
applications and their lifecycle through native k8s tooling like kubectl.
Release highlights:
- Improved rollback
退订
请问，flink1.17在使用RichFlatMapFunction进行批计算时，如何在数据结束时将状态写入输出的数据流中？
谢谢
退订
退订
HI
我简化了我python代码
只要udft方法有外部方法,都会有递归问题, 比如
agan_add_iig(),尽管我的agan_add_iig()实现很简单,flink难道不能外部import自定义方法吗??
def agan_add_iig():
return 2
@udtf(input_types=DataTypes.STRING(),
result_types=[DataTypes.STRING(), DataTypes.STRING(), DataTypes.STRING(),
DataTypes.STRING()])
def run(data_str):
try:
各位老师好:
背景是这样的[flink1.17.1],我在window机器,本地单机调用自定义的pythonUDF,下面是我python代码
err=None
@udtf(input_types=DataTypes.STRING(),
result_types=[DataTypes.STRING(), DataTypes.STRING(), DataTypes.STRING(),
DataTypes.STRING()])
def run(data_str):
try:
logger.info("input param is ", data_str)
好滴呀 谢谢各位老师指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Yanfei Lei |
| 发送日期 | 2023年8月10日 11:50 |
| 收件人 | |
| 主题 | Re: Flink 窗口触发条件 |
hi,
hi,
感觉和[1]的问题比较像，事件时间的window在onElement和onEventTime时会触发，这两个方法又会根据watermark判断，可以看看o.a.f.table.runtime.operators.window.triggers包和o.a.f.table.runtime.operators.wmassigners包。
[1] https://juejin.cn/post/6850418110010179597
小昌同学 于2023年8月10日周四 10:52写道：
>
>
各位老师好，我这边在使用Flink的事件时间窗口的时候，关于窗口触发的条件我有一点疑问想咨询一下各位老师
我是开了一个2分钟的事件时间的窗口，但是等到两分钟后窗口并没有主动触发，等我后面再发一条数据的时候，窗口再进行了触发
所以我想请问一下窗口的触发机制不是时间点嘛，而是非要等到下一条数据发送，依赖于下一条数据携带的时间戳大于窗口的结束时间，上一个窗口才会真正的触发嘛
请各位老师指导一下
| |
小昌同学
|
|
ccc0606fight...@163.com
|
退订
好的 谢谢各位老师的指导
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | ron |
| 发送日期 | 2023年8月10日 00:51 |
| 收件人 | |
| 主题 | Re: 回复： Flink消费MySQL |
Hi,
建议通过CDC实时读，然后用Flink的双流Join进行关联。
-原始邮件-
发件人: "小昌同学"
发送时间: 2023-08-08 11:10:19 (星期二)
收件人: user-zh
抄送: user-zh
主题: 回复：
Hi,
这个报错看起来确实很奇怪，你可以给一个完整的使用SQL吗，这样可以方便去复现一下。
> -原始邮件-
> 发件人: "junjie.m...@goupwith.com"
> 发送时间: 2023-08-03 17:05:03 (星期四)
> 收件人: user-zh
> 抄送:
> 主题: 自定义ScalarFunction函数运行报错
>
> public static class MatrixToRowFunction extends ScalarFunction {
> @DataTypeHint("ROW>")
> public
Hi,
建议通过CDC实时读，然后用Flink的双流Join进行关联。
> -原始邮件-
> 发件人: "小昌同学"
> 发送时间: 2023-08-08 11:10:19 (星期二)
> 收件人: user-zh
> 抄送: user-zh
> 主题: 回复： Flink消费MySQL
>
> 谢谢老师指导呀；
> 我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
> 老师这一块有更好的建议嘛
>
>
> | |
> 小昌同学
> |
> |
>
像上面提到的，目前可能直接使用CDC是一个比较好的方案，自己读数据会有很多问题，比如update数据如何读取、如何读取增量数据、如何处理failover等，还是直接使用CDC最方便
Best,
Shammon FY
On Tue, Aug 8, 2023 at 11:30 AM Jiabao Sun
wrote:
> Hi,
>
> 可以尝试使用 flink-cdc-connectors 去实时关联。
> 使用 regular join 需要保留两张表完整的状态，表数据量较大建议使用 rocksdb backend。
> 被关联的表变化不大的话可以考虑 lookup join。
>
Hi,
可以尝试使用 flink-cdc-connectors 去实时关联。
使用 regular join 需要保留两张表完整的状态，表数据量较大建议使用 rocksdb backend。
被关联的表变化不大的话可以考虑 lookup join。
Best,
Jiabao
> 2023年8月8日 上午11:10，小昌同学 写道：
>
> 谢谢老师指导呀；
> 我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
> 老师这一块有更好的建议嘛
>
>
> | |
> 小昌同学
谢谢老师指导呀；
我目前的需求是想把两张MySQL的表数据读取出来，然后进行实时关联，我现在能想到的就是要么使用cdc实时读取，要么就是写一个循环去读MySQL中的数据
老师这一块有更好的建议嘛
| |
小昌同学
|
|
ccc0606fight...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年8月8日 10:37 |
| 收件人 | |
| 主题 | Re: Flink消费MySQL |
Hi，
你代码里的ResultSet读取完成后需要将resultSet关闭掉，避免资源泄漏
Hi，
你代码里的ResultSet读取完成后需要将resultSet关闭掉，避免资源泄漏
至于你提到的Mysql数据读完程序就结束具体是指哪块？mysql是bounded
source，数据消费完成并且整个作业计算完成后，就会结束，这是正常情况
Best,
Shammon FY
On Mon, Aug 7, 2023 at 5:04 PM 小昌同学 wrote:
> 各位老师好
> ，我这边在本地使用通过继承RichSourceFunction类，实现从MySQL中读取数据，但是为啥程序将MySQL中的全部数据获取出来后，程序就自动停止了啊；
> 以下是我的代码：
> |
>
如果不是用的flink kubernetes operator或者hdfs和oss系统网络无法直接连通怎么办？
有没有办法读取hdfs的checkpoint/savepoint然后再另存为oss的checkpoint/savepoint呢？谢谢！
在 2023-08-07 10:33:25，"Ruibin Xing" 写道：
>你好，
>
>如果你们也使用的是官方的Flink Kubernetes
Hi,
看着像是版本冲突了，你有在你的flink session集群目录里放hbase的包吗？可以检查一下跟flink hbase
shaded的hbase版本是否一致
Best,
Shammon FY
On Sat, Aug 5, 2023 at 9:33 PM 杨东树 wrote:
> 各位好，
>目前使用sql-client查询hbase数据时，无法查询成功，麻烦指导下，谢谢。
>复现方法：
> 1、hbase操作:
> hbase(main):005:0> create 'flink_to_hbase','cf1'
> 0 row(s)
各位老师好
，我这边在本地使用通过继承RichSourceFunction类，实现从MySQL中读取数据，但是为啥程序将MySQL中的全部数据获取出来后，程序就自动停止了啊；
以下是我的代码：
|
public class MysqlSource2 extends RichSourceFunction {
PreparedStatement ps;
private Connection connection;
@Override
public void open(Configuration parameters) throws Exception {
你好，
如果你们也使用的是官方的Flink Kubernetes
Operator，可以参考我们迁移的经验：迁移的时候设置FlinkDeployment的initalSavepoint为HDFS上Savepoint的地址，同时配置savepoint/checkpoint目录为OSS。这样Flink启动的时候会从HDFS中的状态恢复，并将新的checkpoint保存在oss中。
On Sun, Aug 6, 2023 at 10:03 PM casel.chen wrote:
> flink on
flink on yarn作业checkpoint/savepoint保存在hdfs上面，现在想将其迁移到on
k8s上运行，使用的是对象存储oss，请问如何无感地进行作业状态迁移呢？使用的flink版本是1.15.2，谢谢！
共有 16769 项搜索結果，以下是第 501 - 600 matches
Mail list logo
