Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 天下五帝东 于2022年3月7日周一 19:02写道: > 退订

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 Minc 于2022年3月10日周四 11:02写道: > > 退订 > > | | > Minc > | > | > 邮箱:xing...@126.com > | > > 签名由 网易邮箱大师 定制

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 liber xue 于2022年3月7日周一 20:59写道: > 退订 >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 hihl 于2022年3月25日周五 15:23写道: > >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 guoxb__...@sina.com 于2022年3月25日周五 17:16写道: > > 退订 > > > guoxb__...@sina.com >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 Peter Gee 于2022年3月25日周五 18:55写道: > 退订 >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 杨自闯 于2022年3月26日周六 06:41写道: > 退订

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 Peter Gee 于2022年3月26日周六 20:09写道: > 退订 >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 稻草人 于2022年3月26日周六 21:32写道: > 退订

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 hk lv 于2022年3月26日周六 23:13写道: > 退订 >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 写虫师 于2022年3月22日周二 18:23写道: > 退订

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 bjbs_270 于2022年3月25日周五 14:56写道: > 退订 > > 发自我的iPhone > > > 在 2022年3月25日,07:50,邱志磊 写道: > > > > 退订 >

Re: 退订

2022-03-28 Thread LuNing Wang
Hi! 退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。 如果不想收到邮件列表的邮件,但希望关注列表中的讨论,可以查看 https://lists.apache.org/list.html?user-zh@flink.apache.org。 598465018 <598465...@qq.com.invalid> 于2022年3月23日周三 15:28写道: > 退订

Need Help

2022-03-28 Thread Himanshu Sareen
Team, Is it possible for two independent flink-statefun applications can communicate via Http Rest API ? In other words does flink-statefun support HTTP REST as Ingress ? We are using python sdk for statefun application. Regards, Himanshu

flink docker image (1.14.4) unable to access other pods from flink program (job and task manager access is fine)

2022-03-28 Thread Jin Yi
i have a flink job that uses redis as a sink. i optionally do some wiping and metadata writing from the job submitting flink program before it actually executes/submits the job to the job manager. when i don't do this redis preparation, the redis sink works completely fine. that is, the redis

Re: flink on k8s是否有替代yarn.ship-files的参数

2022-03-28 Thread yu'an huang
你好, 可以看看这个链接中关于usrlib的介绍(Application mode部分)。 https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/deployment/resource-providers/standalone/docker/#docker-hub-flink-images Kubernetes不像yarn一样提供了ship文件的功能。对于Kubernetes application mode来说,用户程序是运行在Job

Re: 计算UV时使用了PurgingTrigger仍旧发生taskManger OOM的问题

2022-03-28 Thread yj h
是3min中内的state太大导致的,增大TM task heap 和切换RocksdbStatebackend都可以解决 yue ma 于2022年3月28日周一 11:07写道: > 看上去主要是 state 在heap中太大导致的, 建议可以切换为 RocksdbStatebackend > > yj h 于2022年3月27日周日 17:07写道: > > > 请教一个taskmanager oom的问题,我在计算一天的uv,采用ContinuousEventTimeTrigger 来3分钟触发一次 > > > > 配置相关: > >

Re: The number of requested virtual cores for application master 1 exceeds the maximum number of virtual cores 0 available in the Yarn Cluster.

2022-03-28 Thread 胡伟华
Hi, Kaiqiang Flink run 的正确用法是[1], 通过-c 指定mainClass 需要放在 jar-file 之前。图中的报错是由于没有指定 main-class,同时在 manifest 中也找不到对应的配置,可以检查下最终 jar 包内容是否符合预期。 [1] flink run [OPTIONS] > 2022年3月26日 下午6:52,Kaiqiang XIE谢开强 写道: > > 同样的jar包 在webui 提交可以运行成功 > 但是用命令行就还是不行? > > > > > > > > > > > > > >

Re: flink on k8s是否有替代yarn.ship-files的参数

2022-03-28 Thread shimin huang
1.12.0没有找到相关的配置,目前考虑测试下pipeline.classpaths指定对应的jars路径是否生效。 Geng Biao 于2022年3月28日周一 20:18写道: > Hi shimin, > 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。 > > Best, > Biao > > 获取 Outlook for iOS > > 发件人: shimin huang > 发送时间: Monday, March 28,

Re: flink on k8s是否有替代yarn.ship-files的参数

2022-03-28 Thread shimin huang
external-resource..yarn.config-key这个配置贴错了应该是这个 external-resource..kubernetes.config-key shimin huang 于2022年3月28日周一 20:14写道: > flink version 1.12.0 > > 近期在将flink on yarn迁移至flink on > k8s,以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的,想问下k8s是否有类似参数,目前在1.12.0的文档发现没找到类似的,有个 >

Re: flink on k8s是否有替代yarn.ship-files的参数

2022-03-28 Thread Geng Biao
Hi shimin, 外部jar依赖可以看一下文档里usrlib在flink on k8s里的使用。 Best, Biao 获取 Outlook for iOS 发件人: shimin huang 发送时间: Monday, March 28, 2022 8:14:28 PM 收件人: user-zh@flink.apache.org 主题: flink on k8s是否有替代yarn.ship-files的参数 flink version 1.12.0

flink on k8s是否有替代yarn.ship-files的参数

2022-03-28 Thread shimin huang
flink version 1.12.0 近期在将flink on yarn迁移至flink on k8s,以前外部的jar包和配置都是通过yarn.skip-files参数来进行配置加载的,想问下k8s是否有类似参数,目前在1.12.0的文档发现没找到类似的,有个 external-resource..yarn.config-key配置,但是没有具体的试用案例,希望有大佬能够解答下有什么好的方式吗

Re: SQL Client Kafka (UPSERT?) Sink for confluent-avro

2022-03-28 Thread Ingo Bürk
Hi Georg, which Flink version are you using? The missing property is for the avro-confluent format, and if I recall correctly, how these are passed has changed in recent versions, so it'd be good to double check you are using the documentation for the version you are running on. Best Ingo

Re: Flink SQL AVG with mandatory type casting

2022-03-28 Thread Ingo Bürk
Hi Georg, the Flink implementations seem to be based off of SQL Server[1], which has similar (though better documented) behavior for integer-like data types. [1] https://docs.microsoft.com/en-us/sql/t-sql/functions/avg-transact-sql?view=sql-server-ver15 Best Ingo On 24.03.22 16:08, Georg

Re: Where is the "Partitioned All Cache" doc?

2022-03-28 Thread dz902
This is interesting. Thanks for the clarification! On Mon, Mar 28, 2022 at 4:09 PM Qingsheng Ren wrote: > > Hi, > > The optimization you mentioned is only applicable for the product provided by > Alibaba Cloud. In open-source Apache Flink there isn’t a unique caching > abstraction for all

Re: Query regarding ClassCastException

2022-03-28 Thread Nicolaus Weidner
Hi Mahima, have you checked whether the problematic dependency (seems to be avro) is contained in Flink's /lib folder in your case? I would suggest to check on JobManagers and TaskManagers, since you say it's in the business logic. Have you tried the suggestions mentioned in the docs? Those

Re: Where is the "Partitioned All Cache" doc?

2022-03-28 Thread Qingsheng Ren
Hi, The optimization you mentioned is only applicable for the product provided by Alibaba Cloud. In open-source Apache Flink there isn’t a unique caching abstraction for all lookup tables, and each connector has there own cache implementation. For example JDBC uses Guava cache and FileSystem

Re: Datetime format

2022-03-28 Thread Qingsheng Ren
Hi, File system table sink doesn’t provide APIs for changing the prefix or suffix of the generated filename. Maybe you can consider trying DataStream connector and set OutputFileConfig manually to specify prefix and suffix of generating filenames. Best, Qingsheng > On Mar 28, 2022, at

Re: flink cluster startup time

2022-03-28 Thread David Morávek
Hi Frank, I'm not really familiar with the internal workings of the Spotify's operator, but here are few general notes: - You only need the JM process for the REST API to become available (TMs can join in asynchronously). I'd personally aim for < 1m for this step, if it takes longer it could