是不是数据重复了，如果是ORC格式可以尝试执行alter table table_name partition (pt_dt='2021-02-20')
concatenate 语句进行小文件的合并。
-- Original --
From: "RS";
Date: 2022年2月22日(星期二) 上午9:36
To: "user-zh";
Subject: hive 进行 overwrite 合并数据后文件变大？
Hi，
flink写hive任务，checkpoint周期配置的比较短，生成了很多小文件，一天
您好，我的版本是1.13.1
-- Original --
From: "Yang Wang"https://issues.apache.org/jira/browse/FLINK-19212
Best,
Yang
周瑞
您好：Flink程序部署在Yran上以Appliation Mode 模式启动的，在没有采用HA
模式的时候可以正常启动，配置了HA之后，启动异常，麻烦帮忙看下是什么原因导致的.
HA 配置如下：
high-availability: zookeeper high-availability.storageDir:
hdfs://mycluster/flink/ha high-availability.zookeeper.quorum:
zk-1:2181,zk-2:2181,zk-3:2181 high-availability.zookeeper.path.root: /flin
您好，Flink Hive 当上游的Kafka数据量特别大的时候，发现checkpoint一直无法完成，5分钟后报错了。请问这个问题要怎么解决
您好：
这个文件确实不存在了，这种情况目前怎样设置可以让作业继续跑
-- Original --
From: "Rui Li"
您好：Flink
写入Hive的时候数据已经写进去了，但是中间发生了异常导致这里的文件没有compact,Hive数据表查不出数据，后续的Flink程序启动后由于数据不再写入这个分区。导致该分区的数据一直无法compact.请问这种异常需要怎么解决，有手动修复的方法么？
您好：Flink
写入Hive的时候，在压缩文件的时候有个待压缩的文件丢失了，导致Flink程序一直在不断重启，请问文件丢失是什么原因导致的，这种情况怎么能够让Flink程序正常启动
2021-08-10 19:34:19 java.io.UncheckedIOException:
java.io.FileNotFoundException: File does not exist:
hdfs://mycluster/user/hive/warehouse/test.db/offer_69/pt_dt=2021-8-10-72/.uncompacted-part-b2108114-b9
您好：Flink Appliaction mode 模式启动失败，启动命令和错误日志如下./flink run-application -t
yarn-application \
-yD yarn.application.name="MyFlinkApp" \
-yD
yarn.provided.lib.dirs="hdfs://10.10.98.226:8020/user/myflink/flink-common-deps/libs/yarn-flink-1.13.0/lib/;hdfs://10.10.98.226:8020/user/myflink/flink-common-de
您好：
我的
您好：
我的savepoint数据有些问题，想在本地调试，请问在IDEA本地启动Flink程序的时候如何设置从指定savepoint的地址恢复启动
我这也是，只有这些日志
prelaunch.out0.07
prelaunch.err0
taskmanager.out0
taskmanager.err
-- Original --
From: "smq"<374060...@qq.com>;
Date: Mon, Jun 7, 2021 03:49 PM
To: "周瑞"http://apache-flink.147419.n8.nabble.com/
&gt;&gt;
您好请问这个问题解决了么，我也遇到了同样的问题，在Standalone模式下日志是可以正常输出的，部署到yarn之后只有error日志了
-- Original --
From: "smq"<374060...@qq.com>;
Date: Fri, Jun 4, 2021 07:06 PM
To: "r pp"http://apache-flink.147419.n8.nabble.com/
>> >
>> >
>> >
>> > --
&g
您好：kafka在exactly-once语义下,从svaepoint恢复报错。初步排查认为是kafka事务使用了旧的epoch。请问这个问题怎么处理？
//todo 通过配置传进来
env.setParallelism(1);
env.enableCheckpointing(60L, CheckpointingMode.EXACTLY_ONCE);
// checkpoint的清除策略(即使任务被显示地取消也会保留checkpoint)
env.getCheckpointConfig()
.enableExternalizedCheckpoints(Checkp
13 matches
Mail list logo
