_DIRTY.json
看下以这个结尾的文件,内容应该是一个 json,如果不是标准 json 说明数据已经异常了,可以尝试删除
Best,
Weihua
On Tue, Mar 14, 2023 at 11:23 AM Jason_H wrote:
> 您好,
> 我找到了我的ha目录,请教一下,怎么确定哪些数据是脏数据,可以允许删除的,这个有什么办法可以确定吗,我看到的都是些系统数据
>
>
> | |
> Jason_H
> |
> |
> hyb_he...@163.com
> |
> 回复的原邮件
> | 发件人 | Weihua Hu |
>
您好,
我找到了我的ha目录,请教一下,怎么确定哪些数据是脏数据,可以允许删除的,这个有什么办法可以确定吗,我看到的都是些系统数据
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据,但是数据已经不完整了,无法正常读取。
可以参考文档[1],检查相关的
您好,
对的,之前是正常启动的,突然失败了,然后我直接重启pod,就一直报这个错了。
| |
Jason_H
|
|
hyb_he...@163.com
|
回复的原邮件
| 发件人 | Weihua Hu |
| 发送日期 | 2023年3月14日 10:39 |
| 收件人 | |
| 主题 | Re: flink k8s 部署启动报错 |
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据,但是数据已经不完整了,无法正常读取。
可以参考文档[1],检查相关的 HA 路径,清理下异常数据
Hi,
看异常信息是 Flink 集群在启动时检索到 HA 路径上存在 DirtyResults 数据,但是数据已经不完整了,无法正常读取。
可以参考文档[1],检查相关的 HA 路径,清理下异常数据
另外问一下,之前是通过同名的 cluster-id 启动过 Flink 集群吗?
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#job-result-store-storage-path
Best,
Weihua
On Tue, Mar 14, 2023 at
我昨天模拟下断电的情况
10个ha文件的日期是错开的5秒一个
chk-xxx也不是都损坏了,有的是可以启动的,这个我也试了 现在情况是
yarn集群停电重启首先会循环尝试从10个ha的文件中启动应用,ha文件记录的chk的相关原数据
1.如果ha文件都损坏了,即使chk没有损坏,flink应用也是拉不起来的
现在想的是让hdfs上存在至少1组个可用的的ha文件及其对应的chk 现在是5秒一个chk,保存了10个,也会出现损坏无法启动的问题 5秒*10 =
50秒,也想知道多长时间的存档才能保证存在一组没有损坏ha和chk呢。
在 2023-03-14
Hi
确认一下这些 ha 文件的 last modification time 是一致的还是错开的?
另外,指定 chk- 恢复尝试了没有?可以恢复吗?
Best,
Guojun
On Fri, Mar 10, 2023 at 11:56 AM guanyq wrote:
> flink ha路径为 /tmp/flink/ha/
> flink chk路径为 /tmp/flink/checkpoint
>
>
> 我现在不确定是这个ha的文件损坏了,还是所有chk都损坏,但是这个需要模拟验证一下。
>
>
>
>
> 会尝试从10个chk恢复,日志有打印
>
hi,大家好
请教一个问题,我在k8s上部署的flink集群,启动不来,报如下的错误,大家有遇到过吗
java.util.concurrent.CompletionException:
org.apache.flink.util.FlinkRuntimeException: Could not retrieve JobResults of
globally-terminated jobs from JobResultStore
at java.util.concurrent.CompletableFuture.encodeThrowable(Unknown
Hi
从错误上看应该是schema跟数据不匹配导致导致的,看起来目前avro不支持这种schema变更新老数据一起处理
Best,
Shammon.FY
On Fri, Mar 10, 2023 at 2:29 PM Peihui He wrote:
> java.io.IOException: Failed to deserialize Avro record.
> at
>
>
好的感谢,我关注下
| |
吴先生
|
|
15951914...@163.com
|
回复的原邮件
| 发件人 | Shammon FY |
| 发送日期 | 2023年3月13日 18:49 |
| 收件人 | |
| 主题 | Re: Flink-Sql Watermarkers问题 |
Hi
目前sql只能在create table时指定,不过有新的扩展功能,相关FLIP正在讨论中,你可以关注一下
Hi zilong,
应该是没有内置的方法直接进行转换的,如果有需要,还是需要自己根据schema做一遍读取和写入。
另外,在FLINK-24403[1] 中加强了对于复杂类型的print能力,可以直接把他们cast成string来打印。
[1] https://issues.apache.org/jira/browse/FLINK-24403
zilong xiao 于2023年3月13日周一 16:22写道:
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗?我们业务场景需要对RowData
>
Hi
你可以考虑将field数据从BinaryRowData中读取出来再转换成string试试
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 4:21 PM zilong xiao wrote:
> hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗?我们业务场景需要对RowData
> toString,BinaryRowData没有实现该方法QQAQ
>
> Benchao Li 于2021年4月9日周五 10:42写道:
>
> >
Hi
目前sql只能在create table时指定,不过有新的扩展功能,相关FLIP正在讨论中,你可以关注一下
https://cwiki.apache.org/confluence/display/FLINK/FLIP-296%3A+Extend+watermark-related+features+for+SQL
Best,
Shammon.FY
On Mon, Mar 13, 2023 at 6:29 PM 吴先生 <15951914...@163.com> wrote:
> hi,
> 我在使用Flink-Sql 1.14版本时能否不在create
hi,
我在使用Flink-Sql 1.14版本时能否不在create table处指定watermarkers,因为源数据需要做一些清洗之后再指定水位线
| |
吴先生
|
|
15951914...@163.com
|
理解了,非常感谢。
在 2023-03-13 16:57:18,"Weihua Hu" 写道:
>图片看不到,可以找一个图床上传图片,在邮件列表中贴一下链接。
>
>YARN 拉起 AM 还受 "yarn.application-attempt-failures-validity-interval"[1]
>控制,在这个时间内达到指定次数才会退出。
>
>[1]
图片看不到,可以找一个图床上传图片,在邮件列表中贴一下链接。
YARN 拉起 AM 还受 "yarn.application-attempt-failures-validity-interval"[1]
控制,在这个时间内达到指定次数才会退出。
[1]
https://nightlies.apache.org/flink/flink-docs-master/docs/deployment/config/#yarn-application-attempt-failures-validity-interval
Best,
Weihua
On Mon, Mar 13, 2023 at
图片在附件
但是实际却是超过了10次。。
在 2023-03-13 15:39:39,"Weihua Hu" 写道:
>Hi,
>
>图片看不到了
>
>按照这个配置,YARN 应该只会拉起 10 次 JobManager。
>
>Best,
>Weihua
>
>
>On Mon, Mar 13, 2023 at 3:32 PM guanyq wrote:
>
>> flink1.10版本,flink配置如下
>> yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
>>
hi, benchao, 想问下有什么办法可以将BinaryRowData转成GenericRowData吗?我们业务场景需要对RowData
toString,BinaryRowData没有实现该方法QQAQ
Benchao Li 于2021年4月9日周五 10:42写道:
> GenericRowData和BinaryRowData都是RowData这个接口的具体实现。
> 所以你只需要针对RowData进行编程即可,不能假设它使用哪个具体实现。
>
> 关于你的问题,在算子之间数据计算和转换的时候,会有很多地方构造出来BinaryRowData,
>
Hi,
图片看不到了
按照这个配置,YARN 应该只会拉起 10 次 JobManager。
Best,
Weihua
On Mon, Mar 13, 2023 at 3:32 PM guanyq wrote:
> flink1.10版本,flink配置如下
> yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
> 正常我理解yarn会尝试10次启动flink job,如果起不来应该就会失败,但是在yarn应用页面看到了尝试11次,如下图
>
flink1.10版本,flink配置如下
yarn.application-attempts = 10 (yarn尝试启动flink job的次数为10)
正常我理解yarn会尝试10次启动flink job,如果起不来应该就会失败,但是在yarn应用页面看到了尝试11次,如下图
请问appattempt_1678102326043_0006_000409每个序号不是代表一次尝试么
19 matches
Mail list logo