我用native kubernetes方式部署flink session
cluster，想修改某个包下的日志级别，如果直接修改configmap下的log4j-console.properties再重新部署是能生效的，但是通过命令行
(./bin/kubernetes-session.sh -Dkubernetes.cluster-id=xxx) 起flink session
cluster会将之前的修改冲掉，有什么办法可以保留下之前的修改吗？是否有命令行启动参数可以指定自定义的logging配置？谢谢！
Flink CDC??Unable to convert to LocalDateTime
from unexpected value '2020-02-25T23:26:14Z' of type
java.lang.String??MySQL??timestampFlink
??
flink-1.11.3,
flink-sql-connector-mysql-cdc-1.0.0.jar
Flink CDC??
CREATE TABLE
clickhouse不支持事务及幂等写入，无法保证end to end 精准一次。
李一飞 于2021年5月7日周五 下午10:27写道：
> 请问 Flink写clickhouse怎么实现精准一次性，有啥好办法呀
退订
我最近正在研究flink
Connector相关的内容，官网：https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/connectors/table/overview/；又了解到Flink
CDC相关的概念：https://github.com/ververica/flink-cdc-connectors；请教一下flink
Connector和Flink CDC二者之间是什么样的关系？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
测试了下，这个参数确实有有效
--
Sent from: http://apache-flink.147419.n8.nabble.com/
十分感谢黄潇
这个参数的功能描述看起来完全跟我的现象一致，今天我来修改尝试下
--
Sent from: http://apache-flink.147419.n8.nabble.com/
退订
退订
Iceberg upsert:
当iceberg中同一批插入多条主键值相同的数据的时候，通过flink sql进行查询，数据查询不到，并且会报如下的错误：
java.lang.IllegalArgumentException: Row arity: 3, but serializer arity: 2
这个报错的意思是：原本的数据是两列，表的schema也是两列，但是现在schema已经变成了三列了
大家有见过这个报错或问题么？
但是当主键不同时候，同一批插入多条数据，是可以进行正常查询的，并且也是可以upsert的
--
Sent from:
Iceberg upsert:
当iceberg中同一批插入主键相同的多条数据，flink sql 查询不出来，会报错。报错如下：
java.lang.IllegalArgumentException: Row arity: 3, but serializer arity: 2
这个错误的意思就是，我插入的数据是两列，但是table schema已经是三列了。
大家知道这是什么问题么？
当主键不同的时候，同一批插入多条数据都是可以正常插入，并且也是可以upsert的。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
请问 Flink写clickhouse怎么实现精准一次性，有啥好办法呀
看你的描述应该是Standalone部署模式。
默认调度方法是以slot为单位的，并且会倾向于分配到同一个TaskManager的slot中。
想要充分利用所有slot，一个方法是把集群中slot总数设为所有作业的并行度之和，
或者尝试将配置项cluster.evenly-spread-out-slots设为true。
Best,
Shawn Huang
张锴 于2021年5月7日周五 下午7:50写道：
> 给l另一个job设置个组别名，不同的组不会slot共享，会跑到别的slot上，slot可以灵活的运行在不同的TM上。
>
> allanqinjy
给l另一个job设置个组别名，不同的组不会slot共享，会跑到别的slot上，slot可以灵活的运行在不同的TM上。
allanqinjy 于2021年5月7日周五 下午7:38写道：
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html
> flink的配置中是有flink taskmanager配置的，一个tm对应几个slots
>
https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/config.html
flink的配置中是有flink taskmanager配置的，一个tm对应几个slots
。taskmanager.numberOfTaskSlots默认是1.并行度是对应了slots数据，一般我们的slots与并行度最大的一样。你可以看一下这个参数设置。然后对照官网说明。
| |
allanqinjy
|
|
allanqi...@163.com
|
签名由网易邮箱大师定制
在2021年05月7日
您好，能否把解决的思路介绍一下？
祝好
在2020年12月18日 10:38，丁浩浩<18579099...@163.com> 写道：
问题我自己已经解决。
在 2020年12月17日，下午9:00，丁浩浩 <18579099...@163.com> 写道：
flink版本：1.11.1
udaf函数代码来自于阿里云官网文档
以下是代码
public class TestSql {
public static void main(String[] args) throws Exception {
miniclusterslotdebugminicluster
目前Flink的history server并没有和Yarn NM的log
aggregation进行整合，所以任务结束以后只能看webui以及exception
日志是没有办法看的
Best,
Yang
lhuiseu 于2021年5月7日周五 下午1:57写道：
> Hi:
> flink 1.12.0
> on yarn 模式
> 已经Finish的任务可以再history server中找到。但是通过WebUI查看TaskManager Log报404。目前Flink
> History Server是不支持查看TaskManager聚合后的日志吗？希望了解history
非常感谢！
发件人： Leonard Xu
发送时间： 2021-05-07 14:26
收件人： user-zh
主题： Re: 扩展SqlServerDialect 运行在flink on k8s报错
Hi
看日志是加载不到对应的class文件，(1)可以对比下你jar包里的路径是不是不正确,(2) 检查下集群上是不是还有之前的jar包，没替换干净
祝好
Leonard
> 在 2021年5月7日，13:58，18756225...@163.com 写道：
>
> 大家好，遇到一个问题：
> 坏境：flink 版本1.12.1,
Hi
看日志是加载不到对应的class文件，(1)可以对比下你jar包里的路径是不是不正确,(2) 检查下集群上是不是还有之前的jar包，没替换干净
祝好
Leonard
> 在 2021年5月7日，13:58，18756225...@163.com 写道：
>
> 大家好，遇到一个问题：
> 坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql
> 参考mysqlDialect 扩展了一个
>
请问在native kubernetes上如何运行Flink History Server? 有没有相应的文档？
大家好，遇到一个问题：
坏境：flink 版本1.12.1, k8s集群为session模式, 该集群之前可以将数据正常写入到mysql
参考mysqlDialect 扩展了一个
SqlServerDialect，替换了flink的lib包下的flink-connector-jdbc_2.11-1.12.1.jar，在on yarn时
任务正常运行，flink-sql也可以将数据写入到sqlserver
在同一台机器坏境 提交到k8s搭建的flink session模式集群， 就报如下错误 ， JdbcBatchingOutputFormat
22 matches
Mail list logo
