@all！
Flink版本是1.10.2。集群模式是Flink Standalone HA。
问题：
如果在hadoop HA 的情况下，两个namenode都宕机了。重启机器后，启动hadoop。
Flink Standalone HA 观察后，选举5分钟后才成功？请问是不是正常的？
但是 在yarn上跑的spark 任务 都是可以看到错误日志的， flink这边配置的是log4j的日志文件，本地运行 控制台是可以看到错误原因 和日志
在 2020-11-20 17:53:03，"caozhen" 写道：
>
>1、jobmanager的日志有没有错误呢？
>2、或者通过yarn history查下日志 yarn logs -applicationId xxx
>3、如果是flink client 提交作业可以看下客户端日志
>
>
>
>air23 wrote
>> 你好
>> flink on yarn 任务FAILED后 没有错误日志 输出到yarn log
yarn logs -applicationId xxx 和 yarn 历史log 都查看不到FAILED 错误日志。
在 2020-11-20 17:53:03，"caozhen" 写道：
>
>1、jobmanager的日志有没有错误呢？
>2、或者通过yarn history查下日志 yarn logs -applicationId xxx
>3、如果是flink client 提交作业可以看下客户端日志
>
>
>
>air23 wrote
>> 你好
>> flink on yarn 任务FAILED后 没有错误日志 输出到yarn log
>> 这样定位不到 具体是什么问
各位好，我写orc格式文件，提示找不到文件，但通过dfs -ls文件确是有的，我该怎么解决呢？谢谢！
---原始邮件---
发件人: "amen...@163.com"https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/#program-maven
best,
amenhub
发件人： Jian Wang
发送时间： 2020-08-31 21:55
收件人： user-zh
主题： flink-1.11.1 Table API /SQL 无法写入hive orc表
Hi all
是指在 Create Table 时候可以设置每一列的 default value，当这个列的值不存在时候，直接使用 default value 值？
就像传统的 DB 一样。
Best，
Hailong
在 2020-11-20 16:21:28，"Jark Wu" 写道：
>你说的补全字段是指什么？有没有具体的例子？自动推导 schema 么？
>
>Best,
>Jark
>
>On Fri, 20 Nov 2020 at 17:09, 孟小鹏 wrote:
>
>> 目前遇到一个痛点 FlinkSQL可以在DDL时 补全字段并设置默认值吗?这样少了去处理ETL的步骤
>>
1、jobmanager的日志有没有错误呢？
2、或者通过yarn history查下日志 yarn logs -applicationId xxx
3、如果是flink client 提交作业可以看下客户端日志
air23 wrote
> 你好
> flink on yarn 任务FAILED后 没有错误日志 输出到yarn log
> 这样定位不到 具体是什么问题导致任务 失败了，请问怎么配置把log输出到yarn的log里面
--
Sent from: http://apache-flink.147419.n8.nabble.com/
如果要使用官方的 flink on k8s的 per-job模式: [1]
per-job模式下，每次启动新的job都需要通过taskmanager-job-deployment.yaml 和
jobmanager-job.yaml创建对应的 TM、JM。
终止任务，则需要删掉对应的yaml文件，也就是终止TM、JM：
kubectl delete -f taskmanager-job-deployment.yaml
kubectl delete -f jobmanager-job.yaml
[1]
https://ci.apache.org/projects/f
你说的补全字段是指什么？有没有具体的例子？自动推导 schema 么？
Best,
Jark
On Fri, 20 Nov 2020 at 17:09, 孟小鹏 wrote:
> 目前遇到一个痛点 FlinkSQL可以在DDL时 补全字段并设置默认值吗?这样少了去处理ETL的步骤
>
> 这快有考虑吗?
FlinkSQL??DDL??
?ETL??
?
Hi，请教一个问题 我们的一个Flink实时任务中对两个流A和B进行union操作，然后和C流进行connect操作，数据流程大概是这样的：D =
A.union(B)
C.connect(D).keyby(C.key,D.key).process().addsink(kafkaProducer);
A流和B流的数据类型是一样的，但是并发不一样，A流的并发大，B流的并发小，在某一时刻A流出现一波流量尖刺，之后发现输出到kafka的的数据中没有A流的数据都是B流的
；我们发现A流和B流都有数据正常消费也没有积压没有反压，cp执行正常，查看tm和jm也都没有日志异常，这个任务已经跑了很久了，第一
10 matches
Mail list logo
