大佬，我发现我配置完后就只能看到完成的任务在history sever上面，失败的看不到。现在疑惑的是失败的能不能出现在history server
--
Sent from: http://apache-flink.147419.n8.nabble.com/
一、环境:
1、版本：1.11.2
2、flink CDC 用Stream API 从mysql 同步到kudu
二、遇到的问题现象：
1、目前线上已经同步了几张mysql表到kudu了，mysql的量级都在3千万左右。
但是有一张mysql表同步了几次都遇到一个问题：大概能判断在全量阶段，还没到增量阶段。
错误日志在下面。目前想采取“autoReconnect=true”看看来避免，到是不应该加在哪个地方，看日志感觉加了这个参数也是治标不治本，重点是为啥不发送packet，造成了卡顿？
下面是具体报错：
===
主要是为了实现解析自定义的schema，sink端好输出到下游。
想请教一个问题：
https://github.com/ververica/flink-cdc-connectors/wiki/MySQL-CDC-Connector#set-a-differnet-server-id-for-each-job
看了上面这个链接关于为每个作业设置一个differnet server id的问题。我看sql可以指定不同的server id，所以有下面这三个疑惑：
1、 如果是不同的stream 任务 的它的server id是不是同一个？
2、不同的stream 任务 同步同一个数据库的不同表是
感谢Jark的回答，还想请问大佬，想问社区的mysql cdc 的wiki上说具有许多的不同的 server id去连接mysql服务器，会造成mysql
cpu和连接高峰。那想问我们cdc采用sql指定不同的 serverid 去拉不同的表， 是不是这样的cdc 任务也不要太多？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
感谢Jark！
上次调整了mysql连接参数解决了超时问题，但是目前还是同步这张表的时候，就是在Snapshot快结束阶段卡主，报连接异常，请问这个地方应该排查哪个地方？
一、环境:
1、版本：1.11.2
2、flink CDC 用Stream API 从mysql 同步到kudu
3、*这张表有3400万数据，老是在3340左右就卡住，目前已经把sink 到kudu直接改成 print输出还是会出现一模一样的报错。*
日志如下：
==
2020-11-26 14:00:15,293 ERROR *io.debezi
代码采用sql方式接入mysql cdc数据然后转出Stream流， 写入kudu，但是不知道怎么去获取
row里面的主键字段是哪一个和字段名称和类型等？
或者toRetractStream可以指定其他的class？？？
下面是代码
==
tableEnv.executeSql(createTableSql);
Table table = tableEnv.sqlQuery(querySql);
DataStream> dataStream =
tableEnv.toRe
各位大佬好：
请问Flink on yarn 如何指定固定几台yarn节点当做flink任务的运行节点？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
二、启动：
export HADOOP_CLASSPATH=`hadoop classpath`
/tmp/flink-1.12.0/bin/sql-client.sh embedded
三、报错：
[yujianbo@qzcs86 conf]$ /tmp/flink-1.12.0/bin/sql-client.sh embedded
Setting HBASE_CONF_DIR=/etc/hbase/conf because no HBASE_CONF_DIR was set.
SLF4J: Class path contains multiple
1、现在sql-cli能够提交到yarn的session那边，但是会直接报错：
Caused by: java.lang.ClassNotFoundException:
org.apache.hadoop.mapred.JobConf
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.lo
生产的hive表由datekey和event两个字段作为分区，查询sql语句：
（1）第一组对比
SELECT vid From table_A WHERE datekey = '20210112' AND event = 'XXX' AND vid
= 'aa';(*正常*)
SELECT vid From table_A WHERE datekey = '20210112' AND vid = 'aa';
(*异常*)
SELECT vid From table_A WHERE datekey = '20210112';(*正常*)
（2）第二组
生产的hive表由datekey和event两个字段作为分区，查询sql语句：
（1）第一组对比
SELECT vid From table_A WHERE datekey = '20210112' AND event = 'XXX' AND vid
= 'aa';(*正常*)
SELECT vid From table_A WHERE datekey = '20210112' AND vid = 'aa';
(*异常*)
（2）第二组对比
SELECT vid From table_B WHERE datekey = '20210112' AND even
请教一下大佬后来如何解决，我的hadoop和hive版本跟您一致。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
环境： flink 1.12.0
报这个错：报加载不到这个log4j-slf4j-impl-2.12.1.jar包，但是我的lib目录下是有这个包的：
$ cd lib/
$ ll
-rw-r--r-- 1 yujianbo yujianbo 91554 1月 26 18:44 flink-csv-1.12.0.jar
-rw-r--r-- 1 yujianbo yujianbo 114119885 1月 26 18:45
flink-dist_2.11-1.12.0.jar
-rw-r--r-- 1 yujianbo yujianbo136664 1月 26 18
Rui Li
上午好，能帮我看一下这个http://apache-flink.147419.n8.nabble.com/flink-flink-lib-td10518.html也是由依赖冲突引起的吗。我的情况是这样的，一样的集群，之前是cdh的hadoop3.0.0，hive是2.2.0；现在准备从cdh迁回社区版的hadoop集群，变成3.3.0，hive是3.1.2，昨天解决了hive-exec的问题，但是今天同样的一份代码在上一个集群是可以正常提交正常跑的，但是放到新的集群这边跑，启动的时候就直接说加载不到lib包下的一个jar，就有点奇怪，是yarn冲突了吗？
--
Sent
我已经解决了，是因为我跑的任务jar包里的resources目录下的一个文件hdfs-site.xml是上一份集群的，我把这个去掉就可以了。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
参考大佬Rui Li的建议，我解决了，想参考的可以看看这个：
https://blog.csdn.net/weixin_44500374/article/details/113244560
https://www.jianshu.com/p/f076a4f66527
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我的已经解决了，根据大佬Rui Li的建议，也可以参考我的方式：
https://blog.csdn.net/weixin_44500374/article/details/113244560
https://www.jianshu.com/p/f076a4f66527
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬后面你是怎么解决的，我也是突然遇到这个问题
--
Sent from: http://apache-flink.147419.n8.nabble.com/
一、环境：
1、版本：1.12.0
2、flink sql
3、已经设置了setIdleStateRetention 为1小时
4、状态后端是rocksDB， 增量模式
5、源数据没有数据激增情况，任务已经跑了两天
二、详情
具体sql见第三大点，就是普通的group by统计的
sql，然后设置setIdleStateRetention(3600)。目前观察两天了，checkpoint目录下面的shared文件夹的大小一直在增长，然后看文件夹里的文件是在一直更新，最早的文件也会消失。
我sql的groupby维度有加一个具体的分钟字
有没有大佬帮忙看看
--
Sent from: http://apache-flink.147419.n8.nabble.com/
没有更好的方式吗
--
Sent from: http://apache-flink.147419.n8.nabble.com/
没有更好的方式吗，这样治标不治本，那我大状态任务会有很多问题
--
Sent from: http://apache-flink.147419.n8.nabble.com/
感谢大佬的回复！以后优先现在邮箱这边讨论发现问题再去提个issue！
我的 idleStateRetention确实是设置3600秒，我先进行测试看看。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
/b582991b8b2b8dadb89e71d5002c4a9cc2055e34/flink-runtime/src/main/java/org/apache/flink/runtime/checkpoint/Checkpoints.java#L99
祝好
唐云
From: yujianbo <[hidden email]>
Sent: Tuesday, June 1, 2021 10:51
To: [hidden email] <[hidden email]>
Subject: Re: Flink Sql 的/checkpoint/
好的非常感谢，我拿几个任务测试一波，看看性能能不能接受！
Hi,
没有被引用的文件可能也不是完全无用的，可能是当前pending checkpoint正在上传的，所以还需要比较一下那些不在checkpoint
meta内的文件的修改时间戳，可能比你分析的complete checkpoint的时间戳要大。
总体上来说，我不认为这个问题是一个bug，这个是LSM架构的DB的空间放大问题。如果你对空间放大非常担心的话，可以启用 dynamic level
[1] 来严格控制空间放大，不过这个可能会影响写放大和读放大，导致性能
版本：1.12
框架：用默认的log4j2框架
问题：日志打到kafka，如何去区分jobmanager和taskmanger日志？我发现去改layout.pattern，还是没有能找到区分的好办法？
appender.kafka.layout.type=PatternLayout
appender.kafka.layout.pattern=%d{-MM-dd HH:mm:ss,SSS} %-5p %-60c %x -
%m%n -- %t -- %F
--
Sent from: http://apache-flink.147419.n8.nabble.com/
log4j可以，log4j2也可以，现在头疼已经实现打kafka，不知道怎么区分这两边的日志
--
Sent from: http://apache-flink.147419.n8.nabble.com/
大佬，能告知一下吗？我目前知道lay out有这么多的参数可以配置，哪个参数能区分jm或者tm的日志呢：
具体的格式化说明：
%p：输出日志信息的优先级，即DEBUG，INFO，WARN，ERROR，FATAL。
%d：输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，如：%d{/MM/dd
HH:mm:ss,SSS}。
%r：输出自应用程序启动到输出该log信息耗费的毫秒数。
%t：输出产生该日志事件的线程名。
%l：输出日志事件的发生位置，相当于%c.%
最新详细配置，可以看看我的博客：
https://blog.csdn.net/weixin_44500374/article/details/117931457
如果对你有帮助帮忙点个赞~
--
Sent from: http://apache-flink.147419.n8.nabble.com/
29 matches
Mail list logo
