目前我觉得最好的解决办法就是定期重启JM和TM进程。
知而不惑 于2022年7月4日周一 17:07写道：
> 这个问题没有人解答吗？
>
>
>
>
> --原始邮件--
> 发件人:
> "知而不惑"
> <
> chenliangv...@qq.com;
>
Hi
你可以尝试配置 HADOOP_CLASSPATH 环境变量[1] 不用非得手动导入Hadoop相关Jar包
[1]
https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/deployment/resource-providers/yarn/#preparation
Best regards
Luning Wang
yuxia 于2022年6月20日周一 10:07写道：
> Hadoop 环境依赖多个 jar 包，单单一个 hadoop-common 是远远不够地。可以试试使用这个 Flink
谢谢 Yu Li 老师提醒，
我彻底开放了测试表格，和资源配置文档。
《TPC-DS各引擎耗时》
https://www.yuque.com/deadwind/notes/tpcds-benchmark-table
《TPC-DS资源配置》
https://www.yuque.com/deadwind/notes/tpcds-resource
Best,
LuNing Wang.
SQL Client的Application模式现在还不支持，方案在设计中。
https://issues.apache.org/jira/browse/FLINK-26541
吕宴全 <1365976...@qq.com.invalid> 于2022年4月24日周日 14:45写道：
> 我准备使用Kyuubi对接FlinkSQL，将任务运行在k8s环境中，任务可能包括离线作业(Application
> mode)和即席查询(Session mode)。在Application模式下，从jar中构建jobgraph。SQL示例如下：
>
>
> CREATE TABLE T (
>
需要根据集群资源对flink-conf.yaml中taskmanager.memory.process.size等资源配置进行调整。
> >>
> >> Best,
> >> Zhilong
> >>
> >> On Fri, Apr 15, 2022 at 2:38 PM LuNing Wang
> >> wrote:
> >>
> >> > 跑了100个 TPC-DS SQL
> >> > 10 GB 数据、2个Work
跑了100个 TPC-DS SQL
10 GB 数据、2个Worker（TM）、每个32G内存，16个核心。
Flink平均用时 18秒
Trino平均用时 7秒
我看字节跳动和阿里的老师测试，Flink和presto OLAP性能接近，但是我测的差距很大。想进一步和老师交流下，是不是我Flink设置的有问题。
我基本上是按照下面这个项目里模板配置的Flink相关参数。
https://github.com/ververica/flink-sql-benchmark
LuNing Wang 于2022年4月15日周五 14:34写道：
> 跑了100个SQL
>
跑了100个SQL
Hi,
Hive sink不支持 upsert写入，只能INSERT写入，你怎么设置都不行，一般这种情况可以使用hudi和iceberg作为Sink接受
upsert数据。
Best,
LuNing Wang
799590...@qq.com.INVALID <799590...@qq.com.invalid> 于2022年4月6日周三 14:37写道：
> 问题：flink1.1.36用SQL方式如何设置输出到hive表为upsert模式？
>
> flink：1.13.6
> hive：1.1.1
> hadoop：2.6.0-cdh
Hi,
Table store是存储，应和数据湖类似
Best,
LuNing Wang
yidan zhao 于2022年4月6日周三 16:55写道：
> 看官网出来个 flink table store，和 flink table、flink sql 那一套有啥区别呢？
>
也可以使用MinIO做存储。
casel.chen 于2022年3月30日周三 12:05写道：
> 我们是直接使用云存储，像阿里云的oss，没有再搭建hadoop集群。如果flink on
> k8s的确需要访问hadoop的话，是需要打包hadoop发行包在镜像里面的，配置好core-site.xml, hdfs-site.xml等
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2022-03-30 12:01:54，"yidan zhao" 写道：
> >如题，是需要打包hadoop client到镜像中吗。
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
袁超 <13699142...@163.com> 于2022年3月30日周三 10:57写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
董剑辉 于2022年3月29日周二 17:25写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
天下五帝东 于2022年3月7日周一 19:02写道：
> 退订
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
Minc 于2022年3月10日周四 11:02写道：
>
> 退订
>
> | |
> Minc
> |
> |
> 邮箱：xing...@126.com
> |
>
> 签名由 网易邮箱大师 定制
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
liber xue 于2022年3月7日周一 20:59写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
hihl 于2022年3月25日周五 15:23写道：
>
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
guoxb__...@sina.com 于2022年3月25日周五 17:16写道：
>
> 退订
>
>
> guoxb__...@sina.com
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
Peter Gee 于2022年3月25日周五 18:55写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
杨自闯 于2022年3月26日周六 06:41写道：
> 退订
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
Peter Gee 于2022年3月26日周六 20:09写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
稻草人 于2022年3月26日周六 21:32写道：
> 退订
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
hk lv 于2022年3月26日周六 23:13写道：
> 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
写虫师 于2022年3月22日周二 18:23写道：
> 退订
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
bjbs_270 于2022年3月25日周五 14:56写道：
> 退订
>
> 发自我的iPhone
>
> > 在 2022年3月25日，07:50，邱志磊 写道：
> >
> > 退订
>
Hi！
退订中文邮件列表请发送任意邮件到 user-zh-unsubscr...@flink.apache.org。
如果不想收到邮件列表的邮件，但希望关注列表中的讨论，可以查看
https://lists.apache.org/list.html?user-zh@flink.apache.org。
598465018 <598465...@qq.com.invalid> 于2022年3月23日周三 15:28写道：
> 退订
Flink未来会在ad-hoc方向投入吗？类似Flink自带Trino/Presto的性能优化方式，这样批、流、OLAP/ad-hoc只需要一个引擎就可以。
26 matches
Mail list logo
