@all
大家好！我的Flink 版本是1.14.5。CDC版本是2.2.1。在on yarn 运行一段时间后会出现如下报错:
org.apache.flink.runtime.jobmaster.JobMasterException: TaskManager with id
container_e506_1673750933366_49579_01_02(hdp-server-010.yigongpin.com:8041)
is no longer reachable. at
大家好！关于 Flink CDC 打宽表有如下疑问：
启动一个任务后，刚开始个字段是有值的。但跑一段时间或者跨天后，字段无缘无故是null值了。用其他引擎跑数据却是正常的。
比如第一天启动任务，A字段是有值的。但是第二天发现A字段全部是NULL值了。但用presto查询却是正常的。但我猜测是不是和TTL设置有关系呢？我设置了1天。
大家好！
现在我在 Flink CDC2.2.1设置了server id。有5张表且server id的范围都不同，通过Flink CDC
打宽表。但是在任务跑一段时间后，还是出现如下报错：
Caused by: com.github.shyiko.mysql.binlog.network.ServerException: A slave with
the same server_uuid/server_id as this slave has connected to the master;
请教下各位，还有什么解决方案没有
大家好！请教几个问题
1. FlinkSQL维表join的时候，能不能把维表先用flinksql 当做一个临时表，然后在用临时表做维表join
例如：临时表
WITH employee_tmp AS(
select
userid as userid,
name as name,
mobile as de_mobile
from ygp_dwd_catalog.flink_dwd.employee
)
select
*
from ( select
*
from ygp_dwd_catalog.flink_dwd.xxx ) t1
left join
@all:
大家好，Flink Mysql CDC实时同步数据，发现mysql和下游StarRocks的数据量对不上。
StarRocks用的是primary key模型，
版本：
Flink1.13.3
Flink CDC 2.1.1
报错如下：
Caused by: java.lang.RuntimeException: SplitFetcher thread 0 received
unexpected exception while polling the records
at
Hi:
Dlink是个交互式的FlinkSQL平台，可以在上面进行FlinkSQL的开发调试以及异步提交方式。现在已经逐步完善。我这边已经在生产部署应用了，效果还是不错的。
github地址:
https://github.com/DataLinkDC/dlink
readme中有作者的联系方式，可以加上了解下。
--
发件人：godfrey he
发送时间：2022年1月12日(星期三) 10:22
收件人：Ada Wong
抄
@all:
Flink mysql cdc凌晨同步报错,流任务都失败了。报错如下：
org.apache.flink.runtime.JobException: Recovery is suppressed by
FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=3,
backoffTimeMS=3)
at
flink cdc 数据同步作业无法提交（standalone）,issues也提交了。报错如下
WARN org.apache.flink.table.client.cli.CliClient [] - Could
not execute SQL statement.
org.apache.flink.table.client.gateway.SqlExecutionException: Could not execute
SQL statement.
at
我单独私聊下，钉钉。现在有几个问题，帮忙看下拉
--
发件人：Jark Wu
发送时间：2022年1月6日(星期四) 16:43
收件人：user-zh
主 题：Re: 邮件归档访问不了
nabble 服务挂了，用这个地址吧：https://lists.apache.org/list.html?d...@flink.apache.org
On Fri, 31 Dec 2021 at 18:29, Ada Wong wrote:
>
@all:
Flink mysql cdc同步数据报字段不识别，是什么原因造成的？难道是关键字不识别？报错日志如下：
httpResponseStatus=200 OK}
org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.exc.UnrecognizedPropertyException:
Unrecognized field "status" (class
org.apache.flink.runtime.rest.messages.ErrorResponseBody), not marked as
@all
大家好：
关于Flink1.13中，TableEnvironment 和StreamTableEnvironment有一些疑惑：
1.TableEnvironment支持streaming和batch 模式，Flink1.13中TableEnvironment是否支持UDF和UDTF呢？
2.StreamTableEnvironment
目前只支持streaming模式？支持UDF和UDTF？能否在StreamTableEnvironment中以流的方式写批数据，批数据跑完进程就不存在了吧？
3.现在不是特别清楚真正的流批一体化体现在那个入口TableEnvironment
大家好，在使用sql-client的过程中，提交一个新的任务会覆盖前面的任务。
模式是perjob，flink1.13.3 ，为什么在flinkwebui上面显示的作业是一样的？
@all：
大家好！
我在实时读取hive的时候动态参数不生效，另外flink是否可以通过流读方式读取hive的普通表呢？
版本如下：
Flink版本1.13.3
Hive版本hive2.1.1-CDH6.2.0
设置的参数是set 'table.dynamic-table-options.enabled'='true'
报错如下：
INSERT INTO qhc_catalog.qhc_hms.qhc_ods_assassin_dept
select * from qhc_catalog.qhc_assassin_ods.assassin_dept /*+
@all:
大家好！
我在实时读取hive的时候动态参数不生效，
Flink版本1.13.3
Hive版本hive2.1.1-CDH6.2.0
我的脚本如下：
报错如下：
请大佬们看下是什么原因造成的？
大家好：
flink1.13.1在sql文件和flink-conf.yaml文件中不生效。我的sql文件内容如下：
尝试多次，数据无法写入iceberg。hive版本2.3.6
ui是这样的：
进入Flink web ui 报错：
不知道是什么原因，请大家帮忙看下
--
发件人：Shengkai Fang
发送时间：2021年6月9日(星期三) 09:54
收件人：user-zh ; Fei Han
主 题：Re: sql client提交 flink任务失败
可以看看之前的问题，看看能否解决。
Best,
Shengkai
[1] http://apache-flink.147419.n8.nabble.com
大家好！
参考云邪写的sqlsubmit提交SQL文件，我修改后提交，SQL文件已经识别了，可以创建表。但是提交任务insert的时候，在local模式下就报错。
Flink版本是1.12.0。我的提交命令是:$FLINK_HOME/bin/flink run -mip:8081 -d -p 3 -c
sql.submit.SqlSubmit $SQL_JAR -f $sql_file
在local模式报错如下：
The program finished with the following exception:
@all！
Flink版本是1.10.2。集群模式是Flink Standalone HA。
问题：
如果在hadoop HA 的情况下，两个namenode都宕机了。重启机器后，启动hadoop。
Flink Standalone HA 观察后，选举5分钟后才成功？请问是不是正常的？
Hi all :
kafka
第一次发送统计信息延迟。如果从kafka发送一条消息，第一次的count统计，每次都是在发送第二条消息的时候，才会统计出来。正常情况下，应该是发送一条统计一条，现在的情况是发送第二条消息的时候，才会统计出第一条消息的。
代码如下：
select terminal_only_no,count(distinct(certificate_no)) OVER(PARTITION BY
terminal_only_no ORDER BY event_time RANGE BETWEEN INTERVAL '10' MINUTE
preceding AND
Hi，大家好：
在做窗口统计的时候，用count over和sum over出现当前数据量无法统计，只能到下次才能统计到。
是参数写错了，还是另有其他函数，数据过来应该类似闭区间，现在是开区间的。请大家给个建议，谢谢啦？
Hi,all:
我在zeppelin执行如下DDL和SQL，报如下错误：
DDL：
DROP TABLE IF EXISTS user_log ;
CREATE TABLE user_log (
user_id VARCHAR,
item_id VARCHAR,
category_id VARCHAR,
behavior VARCHAR,
ts TIMESTAMP
) WITH (
'connector.type' = 'kafka',
'connector.version' = 'universal',
Hi,all
在flink on yarn提交作业的时候，出现如下问题
在flink-conf.yaml配置了rest.port。但是提交的时候一直报这种错误？
@all:
在Flink1.10中，用yarn模式无法提交作业。
提示如下：
lease check if the requested resources are available in the YARN cluster
2020-02-09 17:22:26,318 INFO org.apache.flink.yarn.YarnClusterDescriptor
- Deployment took more than 60 seconds. Please check if the
requested resources are
杨森：
你好！对于Flink on yarn 模式 flink-conf.yaml中的配置如下：
high-availability: zookeeper
high-availability.zookeeper.quorum: cdh1:2181,cdh2:2181,cdh3:2181
high-availability.storageDir: hdfs://cdh1:9000/flink/recovery
high-availability.zookeeper.path.root: /flink
state.backend: filesystem
你好！
sql-client你现在可以在zeepelin上去写SQL，但只支持DML，DDL暂时
还不支持(如 create table)
Best，
Han Fei
--
发件人：yuess_coder <642969...@qq.com>
发送时间：2019年3月4日(星期一) 10:29
收件人：user-zh@flink.apache.org
主 题：sql-client 支持远程连接flink集群吗
如题
25 matches
Mail list logo
