Re: Flink工程停止问题

老版本我们是自己通过重新修改页面 js 代码去掉的， zhisheng 于2021年11月18日周四 上午11:44写道： > web.cancel.enable: false > > web.cancel.enable 这个参数可以控制是否显示那个取消按钮 > > Caizhi Weng 于2021年11月16日周二 下午3:53写道： > >> Hi！ >> >> Flink 本身不自带安全机制，需要通过外部系统完成访问限制。 >> >> 疾鹰击皓月 <1764232...@

Re: Flink工程停止问题

web.cancel.enable: false web.cancel.enable 这个参数可以控制是否显示那个取消按钮 Caizhi Weng 于2021年11月16日周二 下午3:53写道： > Hi！ > > Flink 本身不自带安全机制，需要通过外部系统完成访问限制。 > > 疾鹰击皓月 <1764232...@qq.com.invalid> 于2021年11月16日周二 下午2:57写道： > > > 您好 > > > > Flink > > >

Re: New blog post published - Sort-Based Blocking Shuffle Implementation in Flink

 Daisy Tsang 于2021年11月3日周三 上午9:36写道： > Hey everyone, we have a new two-part post published on the Apache Flink > blog about the sort-based blocking shuffle implementation in Flink. It > covers benchmark results, design and implementation details, and more! We > hope you like it and welcome

Re: Re: 回复:回复:Re: 在开启checkpoint后如何设置offset的自动提交以方便监控

考虑 currentOffsets 吧 杨浩 于2021年10月27日周三 下午5:40写道： > 明白这个逻辑，这个就导致consumer > lag值不能反映真实情况，而很难监控系统延迟一个场景：业务状态很大，5分钟保存一次，QPS在1~100之间波动，那么需要配置延迟大于5*60*100来监控系统，这会导致监控非常不准确 > 在 2021-10-27 17:34:13，"Qingsheng Ren" 写道： > >你好！ > > > >如果使用的是基于 FLIP-27 实现的 KafkaSource，可以配置 enable.auto.commit =

Re: flink-yarn的pre-job模式

可以检查两个： 1、yarn 队列是否资源足够，如果不够可能是资源的问题 2、检查作业本身是否有包冲突？ Shuiqiang Chen 于2021年10月27日周三 上午10:04写道： > 你好， > > 上传的图片无法加载。 这种情况是 yarn 无法提供拉起taskmanager，检查下yarn资源是否充足？ > > 王健 <13166339...@163.com> 于2021年10月26日周二 下午7:50写道： > > > 您好： > > 我部署flink yarn的pre-job模式运行报错，麻烦看看是啥原因，非常感谢。 > > > >

Re: Flink没有Operator级别的数据量Metrics

webui 有 operator 级别的，仔细看看 Ada Luna 于2021年10月26日周二 下午4:08写道： > Web-UI中的就是Flink原生正常的Metrics，都是Task级别 > > xiazhl 于2021年10月26日周二 下午2:31写道： > > > > web-ui里面有metrics > > > > > > > > > > --原始邮件-- > > 发件人: > "user-zh"

Re: flink时态表：两个Hbase左关联有报错情况

是不是加了 'lookup.async' = 'true'，当 rowkey 为 null 的时候会出现这个问题 https://issues.apache.org/jira/browse/FLINK-24528 Michael Ran 于2021年7月23日周五 上午10:44写道： > java.util.concurrent.ExecutionException: java.lang.NoClassDefFoundError: > org/apache/flink/hbase/shaded/org/apache/commons/io/IOUtils缺jar > 在

Re: Flink1.12 用官方默认的log4j2打日志到kafka，如何区分jobmanager和TaskManager的日志？怎么加参数？

可以自定义 KafkaAppender，然后可以从 System.getProperty("log.file") 获取你要的信息维度数据，比如这个可以提取到作业 application id，container_id，是 jobmanager 还是 taskmanager，还可以根据配置只提取想要的级别日志，最后将打的依赖放到 lib 目录下即可 yujianbo <15205029...@163.com> 于2021年6月15日周二 下午7:34写道： > 最新详细配置，可以看看我的博客： >

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

看下你引入的 jar 包是咋引入的，scope 设置的是 provided 吧？ Wei JI10 季伟 于2021年6月28日周一 下午12:19写道： > 您好， > 版本都是1.12.3的，有其他方式能够定位到这个问题出在哪么？ > > 在 2021/6/28 上午11:59，“Jingsong Li” 写入: > > 注意：此封邮件来自于公司外部，请注意信息安全！ > Attention: This email comes from outside of the company, please pay > attention to the

Re: flink sql报错: Could not find any format factory for identifier 'parquet' in the classpath

使用的是 sql client 测试的 sql 吗？如果是的话，记得在 flink lib 目录下添加 flink-sql-parquet jar 包，然后重启集群和 sql client Wei JI10 季伟 于2021年6月28日周一 上午9:35写道： > 您好， > 添加的parquet 依赖如下，不知道全不全 > > org.apache.flink > flink-parquet_${scala.binary.version} > ${flink.version} > > > org.apache.parquet >

Re: 回复：flink 1.12如何实现window topN功能

可以将 1.13 的这个功能打在 flink 1.12 上面，然后引用你们新打的依赖 casel.chen 于2021年6月23日周三 下午12:08写道： > -- source > CREATE TABLE tmall_item( > itemID VARCHAR, > itemType VARCHAR, > onSellTime TIMESTAMP(3), > price DOUBLE, > proctime AS PROCTIME(), > WATERMARK FOR onSellTime AS onSellTime - INTERVAL '5' SECOND > )

Re: Flink 1.11版本LeaseRenewer线程不释放

你好，这个问题后来定位到问题了吗？ 我们生产也有一个作业有这样的问题，Flink 版本是 1.10.0，这个作业是 JM 的线程数很多（快 6k），作业是 flink 读取 Kafka，会关联 HBase ，开启了 Checkpoint，就这个作业有问题，很奇怪 https://tva1.sinaimg.cn/large/008i3skNgy1gqgvhdu674j31je0u0795.jpg zilong xiao 于2020年12月8日周二 下午6:21写道： > 作业数据流是 kafka -> flink -> >

Re: 回复：Flink 1.11 SQL可以支持kafka动态分区发现么？

1.11 文档里面没有，那么估计就不支持了，可以看下 1.12 如何实现的，然后把这个 patch 打在内部自己的 flink 版本里面 sunfulin 于2021年1月20日周三 下午2:53写道： > > 我看下这个源码，貌似是有这个参数。还不确定SQL ddl里配置会不会生效，回头验证下。 > > > > > -- > 发自我的网易邮箱手机智能版 > > > > - Original Message - > From: "Shuai Xia" > To: user-zh , sunfulin0321 > > Sent: Wed, 20 Jan 2021

Re: 设置状态存储位置后，job运行起来后找不到状态数据

你配置的是本地目录，不是 hdfs 目录，当重启后，可能新的任务运行的机器不是之前的那台机器了，那么之前作业的状态信息（在其他机器上）是不在新的机器上的，那么就会发现找不到状态文件，建议配置成 HDFS 的 Best zhisheng 刘海 于2021年1月20日周三 下午9:05写道： > Hi all > 小弟遇到个问题期望大佬解答解答： > 通过 env.setStateBackend(new > RocksDBStateBackend("file:///data/flink/checkpoints"));设置

Re: flink1.12 on yarn per-job 运行问题

应该要提供一下 jm 的日志，麻烦检查一下 jm 里面的日志是否有异常的日志，我们遇到过类似的问题是因为包冲突导致的作业申请资源有问题，最后一直处于 created 状态 Best zhisheng 花乞丐 于2021年1月21日周四 上午8:47写道： > 贴一下提交程序的参数，以及你机器的配置，从上面看，是资源分配不够！ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Sql Client读取Kafka报错：Could not find any factory for identifier 'kafka'

hello 你放 flink-sql-connector-kafka_2.11-1.11.3.jar 后有重启 sql client 和 集群吗？ Best zhisheng air23 于2021年1月11日周一 下午1:32写道： > 下载个 flink-sql-connector-kafka 这个jar 放在lib下试下 > > > > > > > > > > > > > > > > > > 在 2021-01-09 02:08:12，"inza

Re: crontab通过脚本启动flink-job失败,flink-sql-parquet_2.11-1.12.0.jar does not exist

hi 可以检查一下提交任务的 flink 客户端的 lib 目录下面是否有 flink-sql-parquet_2.11-1.12.0.jar 依赖 Best zhisheng 冯嘉伟 <1425385...@qq.com> 于2021年1月4日周一 上午9:58写道： > hi! > > java.io.FileNotFoundException: File file:/home/xjia/.flink/... > 可以看出，从本地加载jar包，而不是hdfs。 > > 我觉得可能是hadoop环境的问题，

Re: yarn.provided.lib.dirs在flink1.11 yarn提交不生效

hi 使用 -Dyarn.provided.lib.dirs 试试 Best zhisheng datayangl 于2020年12月22日周二 下午4:56写道： > > > flink1.11 on yarn模式，我提前将flink > lib下的依赖及自定义函数jar上传到hdfs上，提交时使用yarn.provided.lib.dirs > 指定hdfs的依赖路径。原本设想程序中使用反射去寻找自定义函数的类并且实例化，但是提交时报错，程序并没有找到自定义函数的路径 > > 提交命令:/usr/hdp/flink1.11/

Re: flink 1.12 RocksDBStateBackend 报错

hi，xintong 有对应的 Issue ID 吗？ Xintong Song 于2020年12月17日周四 下午4:48写道： > 确实是 1.12.0 的 bug。 > 我们在所有用到 state 的地方都应该去声明 ManagedMemoryUseCase.STATE_BACKEND。有一个新添加的 > ReduceTransformation 没有做这个声明，导致所有涉及到这个算子的作业使用 RocksDB 都会出问题。 > 我马上建 issue，这个可能要推动社区加急发一个 bugfix 版本了 > > Thank you~ > > Xintong Song > > >

Re: 使用flink sql cli读取postgres-cdc时，Could not find any factory for identifier 'postgres-cdc' that implements 'org.apache.flink.table.factories.DynamicTableSinkFactory' in the classpath.

sql client 也得重启 王敏超 于2020年12月9日周三 下午4:49写道： > 在使用standalone模式，并启动sql > cli后，报错如下。但是我的lib目录是引入了flink-sql-connector-postgres-cdc-1.1.0.jar, > 并且重启过集群。同样方式使用mysql cdc是可以的。 > > Caused by: org.apache.flink.table.api.ValidationException: Could not find > any factory for identifier 'postgres-cdc' that

Re: flink11 SQL 如何支持双引号字符串

是跟这个 Issue 有关吗？https://issues.apache.org/jira/browse/FLINK-20537 赵一旦 于2020年12月9日周三 上午10:17写道： > MARK，学习下。等回复。 > > 莫失莫忘 于2020年12月8日周二 下午6:49写道： > > > 我在迁移hive sql 到 flink引擎。原来的很多 hive sql 中 > > 字符串都是用双引号表示，例如select * from table1 where column1 = > > "word"。我如何在不修改SQL的前提下，使flink SQL 支持 双引号字符串。 >

Re: 修改topic名称后从Savepoint重启会怎么消费Kafka

这个是正解，参考之前提的一个 Issue https://issues.apache.org/jira/browse/FLINK-16865 Best zhisheng Shuai Xia 于2020年12月2日周三 下午2:03写道： > > hi，实时上并不是你说的这样，从sp重启时因为存在RestoreState，而且Topic名称被修改，会导致restoredState内找不到新的KafkaTopicPartition > 新的消费位置会置为EARLIEST_OFFSET > > > if (res

Re: flink sql es写入时，用户名密码认证不支持

不需要，设置用户名和密码就行 Best zhisheng HunterXHunter <1356469...@qq.com> 于2020年12月1日周二 上午9:46写道： > 你说的是es的 xpack 认证吗，需要你载入certificate文件是吗 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink-1.11.2 job启动不起来，

hi，正超 建议把作业的日志发一下？ Best zhisheng 神奇哥哥 <759341...@qq.com> 于2020年12月1日周二 上午9:38写道： > 你好，此问题我也遇到。目前已解决。 > 解决办法: > 查看你pom文件中是否引入了hadoop相关依赖，Flink 1.11需要把hadoop相关依赖注释掉。 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql es写入时，用户名密码认证不支持

1.12 支持了，参考 https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/elasticsearch.html#username Kyle Zhang 于2020年12月1日周二 上午9:35写道： > Hi,你说的是这个问题么 > > https://issues.apache.org/jira/browse/FLINK-16788 > > On Mon, Nov 30, 2020 at 7:23 PM cljb...@163.com wrote: > > >

Re: Flink任务启动偶尔报错PartitionNotFoundException，会自动恢复。

是不是有 kafka 机器挂了？ Best zhisheng hailongwang <18868816...@163.com> 于2020年11月18日周三 下午5:56写道： > 感觉还有其它 root cause，可以看下还有其它日志不？ > > > Best, > Hailong > > At 2020-11-18 15:52:57, "赵一旦" wrote: > >2020-11-18 16:51:37 > >org.apache.flink.runtim

Re: 求助：Flink DataStream 的 windowoperator 后面apply 方法不执行

可以检查一下作业消费的 kafka 分区是否都有数据，如果有的分区无数据的话，那么可能会导致水印不会更新，从而窗口触发不了。 Best zhisheng huang botao 于2020年11月18日周三 下午10:34写道： > 感谢您的回复，是这样的，我这边的环境设置用的是eventTime > > StreamExecutionEnvironment env = > StreamExecutionEnvironment.getExecutionEnvironment(); > env.setStreamTim

Re: flink-1.11 使用 application 模式时 jobid 问题

看完还是没有解决方案啊 JasonLee <17610775...@163.com> 于2020年11月13日周五 下午4:10写道： > hi > 可以参考一下这篇文章: https://mp.weixin.qq.com/s/S_Spm88eDtbza1QoLKiWlg > > > > - > Best Wishes > JasonLee > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: flink-1.11 使用 application 模式时 jobid 问题

hello, Yang Wang 这个问题目前有 Issue 在跟踪吗？在 1.12 测试发现还是有这个问题，有办法解决吗？ Best， zhisheng Yang Wang 于2020年9月3日周四 上午11:15写道： > 目前HA模式下，application模式还不能支持多job，所以就固定是0了 > 主要的原因是recover的问题还没有解决好 > > > Best, > Yang > > chenkaibit 于2020年9月2日周三 下午7:29写道： > > > hi: > > 我在

Re: ElasticsearchApiCallBridge相关类构造函数问题

目前在 master 分支已经支持了，可以去看看 flink-connector-es7 的源码 Luna Wong 于2020年11月11日周三 下午9:16写道： > 为啥ElasticsearchApiCallBridge接口实现类的构造函数都不是Public。 > 我还想继承Elasticsearch6ApiCallBridge类。在new > RestHightLevelClient之前添加账号密码认证功能，即实现一个支持账号密码的子类。 > > 不加Public 子类就必须得和父类一个包名了。ElasticsearchApiCallBridge的实现类为什么这么设计呢？

Re: Re: slot数量与并行度的大小关系

可以参考 http://www.54tianzhisheng.cn/2019/01/14/Flink-parallelism-slot/ 文章理解一下 hl9...@126.com 于2020年11月12日周四 下午4:47写道： > 是flink standalone 集群。 > job并行度是在job的java代码中通过 streamExecutionEnvironment.setParallelism(15) 来指定的。 > > > > hl9...@126.com > > 发件人： Xintong Song > 发送时间： 2020-11-12 13:18 > 收件人：

Re: Flink与Yarn的状态一致性问题

同遇见过这个问题，所以作业监控告警的时候一般都是拿作业所有的 task 级别的状态，而不是简单的 yarn 状态 hdxg1101300123 于2020年11月12日周四 下午8:07写道： > 可以设置检查点失败任务也失败 > > > > 发自vivo智能手机 > > hi everyone, > > > > 最近在使用Flink-1.11.1 On Yarn Per > Job模式提交简单的kafka->mysql任务时，发现当有脏数据或mysql主键限制等等原因导致Flink任务状态置为Failed时，Yarn > application仍处于运行状态 > > > >

Re: Re: 怎样实现超过一定时间没有收到消息就发出报警的功能？

hi 可以看看 Timer 的机制，能不能解决你的问题 Best zhisheng hailongwang <18868816...@163.com> 于2020年11月12日周四 下午5:25写道： > > > > 这个场景是跟 session 的特性有点像，但是感觉用 session window 不合理。 > 因为如果一直没有触发报警，那么历史数据都会在 window 中，或者说 state 中，但是其实只要记录最新的一条就好了。 > > > > > 在 2020-11-12 14:34:59，&qu

Re: Re: sql-cli执行sql报错

这个问题同样在最新的 master 分支也有这个问题，我建了一个 Issue 描述了下整个流程 https://issues.apache.org/jira/browse/FLINK-19995 hl9...@126.com 于2020年9月28日周一 下午6:06写道： > 按照您的方法重试了下，又报了另一个错误： > Flink SQL> CREATE TABLE tx ( > > account_id BIGINT, > > amount BIGINT, > >

Re: 使用flink-CDC checkpoint超时问题

hi 我建议可以从两方面排查一下： 1、检查 checkpoint 的大小，是不是很大？ 2、检查作业是否反压？反压的情况下 checkpoint 一般很难成功，这种情况可以先解决反压的问题。 Best zhisheng 丁浩浩 <18579099...@163.com> 于2020年11月2日周一 下午4:08写道： > 我刚调研flink sql cdc功能，我有一个这样的需求，就是三张CDC的表做left join关联，由于三张表都会变化，所以使用cdc来做。 > 前两张表数据每张大概20万条数据，最后一张表只有几十条数据，我是讲三张表关联之后做

Re: 回复: flink任务挂掉后自动重启

平台层是将功能自动化，产品化，没有平台总可以手动按照这个思路去实现。 bradyMk 于2020年11月2日周一 下午2:27写道： > 那我们没有这样的计算平台该怎么办呢？ > > > > - > Best Wishes > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: 回复: flink任务挂掉后自动重启

平台层的意思就是说：假设你们有实时计算平台，那么可以考虑把这个想法做在你们的平台里面。 bradyMk 于2020年11月2日周一 上午11:40写道： > zhisheng大佬好~我不是很理解您说的平台层具体是什么意思，指的是什么。。。 > > > > - > Best Wishes > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 elasticsearch connector

hi， 可以自己根据社区的代码进行重编译，改成自己公司的依赖名，推送自公司的 nexus。 Best zhisheng Yangze Guo 于2020年10月29日周四 下午4:00写道： > 1.11版本中尚不支持username和password的设置，这两个配置在1.12中加入了新的es connector[1] > > [1] https://issues.apache.org/jira/browse/FLINK-18361 > > Best, > Yangze Guo > > On Thu, Oct 29, 2

Re: flink1.11 kafka connector

xxx).toString(); return partitions[Math.abs(key.hashCode() % partitions.length)]; } } Best！ zhisheng Jark Wu 于2020年10月29日周四 下午2:33写道： > 多谢创建 issue。 > > side comment: 1.12 中 kafka connector 将支持声明 message key 部分，当声明了 message key > 部分，就自动会按照 key 来做 hash 到某个固定分区。 > > Best,

Re: 回复: flink任务挂掉后自动重启

hi， 提供一个方案，平台层可以做到作业自动拉起，那么需要平台层有这些信息。 1、作业启动的时候保存一下作业的 jobid 信息 2、平台轮训检测作业的状态，如果作业挂了，直接从配置的 checkpoint 基础路径 + jobid 目录下去找最新的目录（里面含 _metadata） eg: hdfs:/flink/checkpoints/9b4cddb385b0c5db96b0774769867673/chk-15109 然后平台层将作业从 checkpoint 拉起，当然这个是否自动拉起，拉起的次数可以让用户去选择。 Best！ zhisheng bradyMk 于

Re: 官方后续会有支持kafka lag metric的计划吗

hi, silence 对于你提到的第一种方案，我觉得在 flink 里面是做不到的，因为 flink 只可以拿得到消费数据的 offset 信息，但是拿不到 kafka 里面该 topic 具体分区最新的 offset 值，那么也就无法相减得到每个分区的 lag，从而无法获取整个 topic 的 lag。 对于第二种方案，我觉得是可行的，可以在自己作业里面埋点（当前系统时间与消费到的数据的事件时间的差值），然后每个并行度分别上报，最后监控页面可以看到作业分区延迟最大是多长时间。 Best！ zhisheng silence 于2020年10月28日周三 下午7:55写道

Re: 关于并行下watermark不生成

hi，Benchen 可以考虑在 source 算子后面加一个 rebalance() Best! zhisheng Shubin Ruan 于2020年10月28日周三 下午7:36写道： > 可以考虑在数据源处进行处理: > > > 设置个时间阈值，若检测到某个 key 下的数据超过时间阈值还未更新，则根据系统的 processing time 按照某种逻辑生成1条水印发送到下游。 > 在 2020-10-28 18:54:22，"BenChen" 写道： > >Hi > all，在Flink1.11里面

Re: Flink是否可以动态调整任务并行度

应该不支持 ZT.Ren <18668118...@163.com> 于2020年10月28日周三 下午3:53写道： > 印象中，Flink1.9之后的某个版本支持动态调整并行度，但忘记怎么使用了。有没有哪位同学帮忙指点下，多谢

Re: flink1.11日志上报

弱弱的问一下，你们集群作业数量大概多少？因为用户可能打印原始数据在日志里面，这个数据量确实还是很大的，全部将日志打到 ES 每月需要多少成本啊？ Storm☀️ 于2020年10月27日周二 下午8:37写道： > 我们也是用的kafkaappender进行日志上报，然后在ES中提供日志检索 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: pyflink和flink版本的兼容性问题

估计可能会有问题，很多变动 whh_960101 于2020年10月23日周五 上午11:41写道： > Hi，各位大佬， > 想请教一下，我的flink的版本是1.10.0，pyflink版本是1.11.1，目前使用pyflink没有兼容性问题，想问一下，马上要更新的flink > 1.12，如果在正式发布后，我只是pip install --upgrade apache-flink==1.12 > 升级pyflink到1.12.0，flink 1.10.0 版本保持不变，会存在很多兼容性问题吗

Re: Re: Re: Flink 读取 Kafka 多个 Partition 问题，

hi 既然你只能消费到一个分区的数据，那么可以肯定的是消费能拿到的只是一个分区的数据，另外看到你说 > 用于本地开发调试 kafka(连到一个堡垒机xxx-b-1,转发 9797 到 xxx-a-1) 建议看看是不是这个转发有问题，只转发了一个节点 Best zhisheng Lynn Chen 于2020年10月23日周五 上午11:01写道： > > > > hi, zhisheng: > > > 我解析 json 后: > (xxx, xxx, xxx, topic, partition, offset) >

Re: Re: Flink 读取 Kafka 多个 Partition 问题，

ot;topic").asText()); System.out.println(jsonNodes.get("metadata").get("offset").asText()); System.out.println(jsonNodes.get("metadata").get("partition").asText()); collector.collect(jsonNodes); }})

Re: flink1.11加载外部jar包进行UDF注册

hi flink 1.11 如果是要管理 udf jar 的话应该是可以通过 yarn-provided-lib-dirs [1] 这个参数去控制 udf jar 的路径地址，ps，这个参数只在 1.11 才支持 [1] https://ci.apache.org/projects/flink/flink-docs-stable/zh/ops/config.html#yarn-provided-lib-dirs Best zhisheng Husky Zeng <568793...@qq.com> 于2020年10月22日周四 上午11:31写道： &g

Re: Flink1.10 history server无法监控 FlinkSQL任务

Hi Robin： 1、是不是更改了刷新时间？一直不显示吗？ 2、running 的作业不会显示的，你可以之间在 yarn 查看，history server 应该是只提供展示挂掉的作业 PS：另外提几个 history server 的问题 1、挂掉的作业展示能否支持分页呢？目前直接在一个页面全部展示了历史所有的作业，打开会很卡 2、有办法可以查看挂掉作业的 jm 和 tm 日志吗？因为 HDFS 其实是有日志，按道理是可以拿到日志信息然后解析展示出来的，Spark history server 也是可以查看挂掉作业的日志 Best！ zhisheng Robin

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

想获取到的话其实可以通过 REST API 去如下图的 metrics 处获取作业 source 往下 send 的数据量和速度，不过这个是单个并行度的，可以去将每个并行度的累加起来。 http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-060508.png [image: image.png] Best zhisheng Kevin Liu 于2020年10月14日周三 上午12:35写道： > 可以参考 https://blog.csdn.net/weixin_41608066/arti

Re: Re:HistoryServer完成任务丢失的问题

hi，我使用 1.10 测试过，发现 history server 查到 cancel job 的时间比较长（超过默认的 10s），但是最终还是会出现的。 如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-033612.png [image: image.png] 刘建刚 于2020年9月28日周一 下午4:13写道： > 修复方案为：https://issues.apache.org/jira/browse/FLINK-18959 > > xiao cai 于2020年9月27日周

Re: 代码中如何取消正在运行的Flink Streaming作业

如果是 on yarn 的话，也可以直接调用 yarn 的 kill 命令停止作业 Jeff Zhang 于2020年7月11日周六 下午11:23写道： > Zeppelin 能够帮你提交和cancel job，就是通过上面jianxu说的ClusterClient > api来做到的，对zeppelin感兴趣的话，可以参考这个视频 > > https://www.bilibili.com/video/BV1Te411W73b?p=21 > > > jianxu 于2020年7月11日周六 下午4:52写道： > > > Hi: > > > > >

Re: Flink1.10 flinksql 多表join状态ttl不成功的问题

有没有窗口啊？ Robin Zhang 于2020年7月14日周二 上午11:48写道： > > 我用flink sql 设置了 空闲状态的清理时间，但是 状态还是一直增加，里面有 多次 group by 和多次 流表的关联 。 > 代码如下： >tEnv.getConfig() > .setIdleStateRetentionTime(Time.hours(minIdleStateRetentionTime), > >

Re: Re: flink on yarn日志问题

知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看 Yangze Guo 于2020年7月14日周二 上午11:58写道： > Hi, 王松 > > 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。 > > Best, > Yangze Guo > > On Tue, Jul 14, 2020 at 8:26 AM 王松 wrote: > > > > 我们也有问题 1，和 Yangze Guo

Re: flink1.10.1在yarn上无法写入kafka的问题

hi，maqi 有完整的日志吗？在这个异常之前还有其他的异常信息吗？如果有，可以提供一下！ Best， zhisheng m...@sinoiov.com 于2020年7月9日周四 下午7:57写道： > > 请教各位： > flink任务在本机写入测试环境kafka集群没问题， > > 但是上传到yarn环境，就是写不进去，其他job运行在yarn可以写入测试环境的kafka > > 异常信息如下： > > 2020-07-09 19:17:33,126 INFO > org.apache.flink.runtime

Re: 回复：flink1.10 checkpoint 运行一段时间空指针异常

生产集群 JDK 使用的地方比较多，不敢轻易换版本，后面再观察一下，如果频繁出现这种问题再考虑更换版本，感谢 Congxian Best！ zhisheng Congxian Qiu 于2020年7月4日周六 下午3:21写道： > @zhisheng 你们有尝试过更换 jdk 版本吗？更换版本是否能解决这个问题呢？ > > Best, > Congxian > > > zhisheng 于2020年7月4日周六 下午12:27写道： > > > 我们也有遇到过这个异常，但是不是很常见 > > >

Re: 回复：在一个 flink operator 中怎样根据消息内容动态生成多个监控指标？

我猜你是想要将 table name 作为一个标签方便后期分组查询过滤？ wangl...@geekplus.com.cn 于2020年7月3日周五 上午10:24写道： > public void invoke(ObjectNode node, Context context) throws Exception { > > String tableName = node.get("metadata").get("topic").asText(); > Meter meter =

Re: Flink job不定期就会重启，版本是1.9

我们集群一般出现这种异常大都是因为 Full GC 次数比较多，然后最后伴随着就是 TaskManager 挂掉的异常 Xintong Song 于2020年7月3日周五 上午11:06写道： > 从报错信息看是 Akka 的 RPC 调用超时，因为是 LocalFencedMessage 所以基本上可以排除网络问题。 > 建议看一下 JM 进程的 GC 压力以及线程数量，是否存在压力过大 RPC 来不及响应的情况。 > > Thank you~ > > Xintong Song > > > > On Fri, Jul 3, 2020 at 10:48 AM noon cjihg

Re: 如何在窗口关闭的时候清除状态

你试试在 clear 方法中清理 18579099...@163.com <18579099...@163.com> 于2020年7月3日周五 下午2:02写道： > > 大家好，我有一个需求，我在ProcessWindowFunction算子中定义了一个valueState，我希望在窗口关闭的时候能够将状态清理。我应该在哪里清理呢？ > > 1.刚开始我选择在ProcessWindowFunction算子的process方法中清理，但是这里会有一个问题，我事件时间窗口开1天，我写了一个trigger，每隔一个小时输出一次结果。 > >

Re: 回复：flink1.10 checkpoint 运行一段时间空指针异常

我们也有遇到过这个异常，但是不是很常见 Congxian Qiu 于2020年7月3日周五 下午2:08写道： > 你可以看看是否 FLINK-17479[1] 和你的问题一样，是的话，可以尝试修改一下 jdk 版本试试 > [1] https://issues.apache.org/jira/browse/FLINK-17479 > Best, > Congxian > > > 程龙 <13162790...@163.com> 于2020年7月1日周三 下午9:09写道： > > > > > > > > > > > > > > > > > > > > > > > > > > >

Re: flink1.9读取阿里Mq问题

hi，guanyq 社区版本的 Flink 应该默认没有和 RocketMQ 连接的 Connector，在 RocketMQ 的社区项目中看到和 Flink 整合的模块： https://github.com/apache/rocketmq-externals/tree/master/rocketmq-flink 你说的 AccessKey，SecretKey 参数应该是 ACL 权限校验，看了代码应该是不支持的，不过可以自己去进行扩展。 Best！ zhisheng guanyq 于2020年7月3日周五 下午11:44写道： > flink1.9读取阿里Rocke

Re: flinksql流计算任务非正常结束

是不是作业是一个批作业呀？ Yichao Yang <1048262...@qq.com> 于2020年6月29日周一 下午6:58写道： > Hi > > > 看你的日志你的数据源是hive table？可以看下是否是批作业模式而不是流作业模式。 > > > Best, > Yichao Yang > > > > > --原始邮件-- > 发件人:"MuChen"<9329...@qq.com; > 发送时间:2020年6月29日(星期一) 下午4:53 > 收件人:"user-zh" >

Re: flink读取kafka超时问题

hi，阿华田 你可以检查一下作业重启的时候，对应 Kafka 集群的 broker 机器上面的监控信息，看看对应时间是否有负载变高的情况，从而验证一下是否因为机器负载变高导致的读取超时？ Best！ zhisheng Yichao Yang <1048262...@qq.com> 于2020年6月29日周一 下午7:50写道： > Hi > > > 看报错是说 dercd_seeme-3 partition 读取异常，可以检查下上游kafka的该partition是否有异常。 > &g

Re: 回复: 关于拓展 Tuple元组的问题

可以测试一下 Tianwang Li 于2020年6月29日周一 下午8:13写道： > > > > 用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ > > > 用Row 和 Tuple 性能上会有差别吗？ > > Jark Wu 于2020年6月19日周五 下午3:47写道： > > > 用 Row 啊，支持 Int.MAX 个元素，还能支持 null 值，不香么？ > > > > > > On Fri, 19 Jun 2020 at 15:42, Weixubin <18925434...@163.com> wrote: > > > > >

Re: Re: flink 高可用问题

hi，Tony 你可以把 Checkpoint 间隔时间稍微设置大一些，看起来像是作业启动的时候 Task 还没 Running，就开始执行 Checkpoint 了，而 Checkpoint 是要求所有的 Task 是处于 Running 状态的，所以就会丢弃掉那次 Checkpoint，BT，就算有这个异常应该问题也不大，只要后面你的作业全启动成功了的话，则 Checkpoint 还是会成功的。 Best！ zhisheng Tony 于2020年6月29日周一 下午8:16写道： > > 你好，我的flink运行环境是在k8s中，我先是打开了checkpoin

Re: flink batch on yarn任务容错

hi，张波， 使用 Checkpoint 的方式在遇到错误的时候会 failover，恢复的时候是从上一次完整 Checkpoint 的状态开始恢复，不会让你重新从最开始的数据开始读取计算。 Best ！ zhisheng 张波 <173603...@qq.com> 于2020年6月29日周一 下午10:06写道： > 场景如下: > flink批处理中，如果出现错误，包括网络及其他原因，导致任务失败，此时会将整个任务重新跑一遍，就算只是其中一个tm出现了问题也是如此。 > 我有一个sink > es的操作，由于数据量大，将其分拆成一个独立的b

Re: 【Flink的transformations】

应该看名字就可以看出来对应关系的 忝忝向仧 <153488...@qq.com> 于2020年6月29日周一 下午10:29写道： > Hi,all: > > > >

Re: flink1.9 on yarn

hi，guanyq 你这种提交方式属于 Flink On YARN 的 per job 模式，机制是这样的，当新提一个作业的时候，AppID 是会变化的。 Best！ zhisheng Yangze Guo 于2020年6月28日周日 上午9:59写道： > 我理解你需要使用session模式，即./bin/yarn-session.sh [1] > > [1] > https://ci.apache.org/projects/flink/flink-docs-master/ops/deployment/yarn_setup.html#flink-

Re: Re: 为什么 flink checkpoint Checkpoint Duration (Async) 阶段耗时很慢

hi，立志： 从你的描述（能跑 10 几天且使用的是 FsStateBackend），可以提供一下 JobManager 和 TaskManager 的 GC 时间和次数的监控信息吗？怀疑是不是因为 Full GC 导致的问题。 Best！ zhisheng 张立志 于2020年6月28日周日 上午10:13写道： > 从监控后台看back presure 是正常的，flatMap 这个任务是存在的，但只是连了一下mysql，没有别的任何操作，而且另一个job > 没有flatmap ,单纯的map reduce > 统计，能跑10几天，到1个多G的时侯就明显变

Re: Flink-1.10.0 source的checkpoint偶尔时间比较长

息，这样才能更好的定位问题。 Best ！ zhisheng Tianwang Li 于2020年6月28日周日 上午10:17写道： > 关于Flink checkpoint偶尔会比较长时间的问题。 > > *环境与背景：* > 版本：flink1.10.0 > 数据量：每秒约10万左右的记录，数据源是kafka > 计算逻辑：滑动窗口统计，每个窗口输出的规模大概1～2千万记录。 > 是否有反压：任务经常会出现反压（特别是在窗口输出的时候）。 > > *问题：* > 大部分时候checkpoint都是在1分钟内

Re: 如何快速定位拖慢速度的 operator

Hi 徐骁， 可以在 Flink Web UI 的 metric 那里添加每个算子的 in 和 out 的速度进行对比，然后知道到底是哪个算子处处理较慢，eg： http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-06-25-081928.png 可以看下上面图中的测试就是一个 operator chain 在一起的作业，可以看到每个算子并行度的进出流速。 Best ！ zhisheng 徐骁 于2020年6月25日周四 上午12:51写道： > 两个方法确实可以, 但是要追踪起来很废时间, 对小白太不友好啊 >

Re: 疑问：flink sql 当一个env下多个insert语句共享一个view时，是否会影响view中kafka源表的offset提交

Hi，Benchao http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-05-28-093940.jpg 这张图里面说的 TableEnvironment 不支持 UDAF/UDTF，那么如果想要用的话暂时有什么解决方法吗？社区大概什么时候会支持？ Thanks！ Benchao Li 于2020年5月28日周四 下午5:35写道： > Hi, > > 时间差了13个小时这个比较奇怪，我理解不应该出现这个问题的。你是说不用TableEnvironment就不会出现这个问题么？

Re: save point容灾方案咨询

hi 如果做 Checkpoint 或者 Savepoint 的时候可以填两个 HDFS 集群的地址路径（一个是你的主集群/另一个是容灾集群） 是不是就可以解决你现在的问题，达到你想要的需求？ Best zhisheng 请叫我雷锋 <854194...@qq.com> 于2020年5月17日周日 下午7:32写道： > 谢谢关注： > > > savepoint 容灾 是指的，每次执行savepoint生成的文件，能够在容灾集群上做备份。当主集群变得不可用时，可以将任务迁移到容灾 > 集

Re: Flink1.10.1关于CliFronted命令行解析顺序引发的BUG

可以去提个 Issue 111 于2020年5月15日周五 下午5:19写道： > Hi， > > > 今天再升级Flink1.10.0到Flink1.10.1时，发现我们搭建的开发系统在使用YarnSession模式时无法正常工作，目前的架构是： > > > [自己的平台]—发送sql--> [sql-gateway]—提交jobgraph-->[yarn] > > > 跟踪代码发现，sql-gateway在启动时，需要调用CliFronted的loadCustomCommandLines来解析命令行参数。 > > >

Re: flink 历史数据join

> | > 邮箱：jimandl...@163.com > | > > Signature is customized by Netease Mail Master > > 在2020年05月15日 19:36，zhisheng 写道： > 所以现在纠结的是使用 DataStream 还是 DataSet ？ > > 可以使用 DataStream，作业 join 完了停掉作业就行了。 > > 小黑 于2020年5月15日周五 下午3:28写道： > > > > > 先工作上有一个需求 2个

Re: 回复：怎么排查taskmanager频繁挂掉的原因?

可以去 yarn 上找找 jobmanager 的日志，挂掉的作业，他的 jobmanager 日志应该还在的 Jeff 于2020年5月15日周五 下午3:28写道： > > > > 不是，是用per-job方式提交的 > > > > > > > > > > > > > > > 在 2020-05-15 14:14:20，"shao.hongxiao" <17611022...@163.com> 写道： > >你的是batch 模式吗 > > > > > > > > > >| | > >邵红晓 > >| > >| > >邮箱：17611022...@163.com > >| > >

Re: flink 历史数据join

所以现在纠结的是使用 DataStream 还是 DataSet ？ 可以使用 DataStream，作业 join 完了停掉作业就行了。 小黑 于2020年5月15日周五 下午3:28写道： > > 先工作上有一个需求 2个数据源 一个是mysql 一个是Hbase 2者上 有很多历史数据 这2个数据源上 已经没有数据写入了 都是历史数据 > 现在要把这2个数据源的某两张张表 进行join 生成之后的数据 存在放在hdfs上 导入到hive上去现在就是不知道 > 是用datatream还是dataset 没有一个很好的 解决方案 望给与回复 > > > > >

Re: flink1.10 ddl metric 不显示

是不是因为作业chain在一起了，所以才看不到的？ 了不起的盖茨比 <573693...@qq.com> 于2020年5月15日周五 下午3:22写道： > DDL(source sink 都是kafka-connect) metric 不展示数据，比如接收了多少数据等

Re: Flink-SQL on yarn 的bug

这个应该不是 bug，如果用代码写，在定义了事件时间的时候，也是要加水印的，否则无法触发窗口的 trigger guaishushu1...@163.com 于2020年5月15日周五 下午5:36写道： > insert into t_report_realtime_fangxin2_order1 > > SELECT date_format(TUMBLE_END(w_ts, INTERVAL '60' SECOND),'-MM-dd') as > summary_date, > date_format(TUMBLE_END(w_ts, INTERVAL '60'

Re: execution.checkpointing.tolerable-failed-checkpoints 无效

这个参数好像可以作业里面单独设置，可以试试看 env.getCheckpointConfig().setTolerableCheckpointFailureNumber(); 蒋佳成(Jiacheng Jiang) <920334...@qq.com> 于2020年4月30日周四 下午3:07写道： > hi > > 我在flink-conf.yaml中配置execution.checkpointing.tolerable-failed-checkpoints： > 100无效，默认为0，也就是不容忍错误，这样的话一个checkpoint出错，job就要重启，这个值该怎么设置呢？

Re: flink背压问题

hi, 数据延迟不一定会产生背压，举个例子，Flink 写 HBase 的作业，Source 并行度为 5，Sink 并行度 10，这种情况下游写入速度很快的，可能写入速度超过 Flink 消费 Kafka 的速度，这种情况就不会出现背压的问题。 1、建议排查一下作业的并行度（可以设置和 Kafka 分区数一样）； 2、背压监控是通过 Flink Web UI 监控查看的，还是通过指标来判断的？ 3、对于数据延迟建议还是得对 Kafka 消费的 Topic 进行消费组的监控，加上 Lag 告警，这样可以及时知道数据延迟情况 Best ！ zhisheng 阿华田 于2020

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

 oliver yunchang 于2020年4月23日周四 上午12:32写道： > 非常感谢Leonard Xu和zhisheng的回复 > > > es index 的 mapping 是否提前设置好了？ > 提前设置好了，提前创建索引的mapping如下： > { > "xxx-2020.04.23": { > "mappings": { > "doc": { > "

Re: 每天0点数据写入Elasticsearch异常且kafka数据堆积

hi, es index 的 mapping 是否提前设置好了？ 我看到异常 : > failed to process cluster event (put-mapping) within 30s 像是自动建 mapping 超时了 Leonard Xu 于2020年4月22日周三 下午4:41写道： > Hi, > > 提前创建的索引的shard配置是怎么样的？集群的reallocation、relocation配置怎样的？ > 可以从这方面找思路排查下看看 > > 祝好， > Leonard Xu > > > > > 在 2020年4月22日，16:10，Oliver

Re: 【flink-connector-kafka】是否支持Subscribe模式

可以使用不同的 group.id 消费 i'mpossible <605769...@qq.com> 于2020年4月21日周二 下午6:12写道： > Hi： > Flink支持Subscribe模式吗？用的connector版本是 > flink-connector-kafka-0.11_2.11，0.11x； > 因为业务需要，我想要优雅下线掉TopicB，即不中断事件流；执行结果发现当Flink服务和A服务指定同一个group.id > ，同时消费TopicA时，kafka偏移量提交失败（开启了检查点）； > > > 感谢解答！！！ >

Re: 如何看到他人问题

中文用户邮件列表可以看：http://apache-flink.147419.n8.nabble.com/ 英文开发邮件列表可以看：http://apache-flink-mailing-list-archive.1008284.n3.nabble.com/ 英文用户邮件列表可以看： http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/ tison 于2020年4月21日周二 下午5:52写道： > cc > > > Leonard Xu 于2020年4月21日周二 下午5:03写道： > >

Re: flink java.util.concurrent.TimeoutException

检查一下这个 TM 的 GC 次数和时间吧 Yangze Guo 于2020年4月15日周三 下午3:03写道： > 日志上看是Taskmanager心跳超时了，如果tm还在，是不是网络问题呢？尝试把heartbeat.timeout调大一些试试？ > > Best, > Yangze Guo > > On Mon, Apr 13, 2020 at 10:40 AM 欧阳苗 wrote: > > > > > job运行了两天就挂了，然后抛出如下异常，但是taskManager没有挂，其他的job还能正常在上面跑,请问这个问题是什么原因导致的，有什么好的解决办法吗 > > > > >

Re: FlinkSQL构建流式应用checkpoint设置

也就是说这种 sql cli 作业启动后如果 kill 掉的时候，再次重启的话是不能够从 savepoint 或者 chekcpoint 恢复是吗？ godfrey he 于2020年4月15日周三 下午4:32写道： > Hi Even, > > 1. 目前 SQL CLI 支持通过在 sql-client-default.yaml 里设置 parallelism > 和 max-parallelism 来控制 CLI 任务的默认并发。或者通过 set 命令，如 set > execution.parallelism=10;放方式动态设置。例外，对于如果使用 blink >

Re: Re: 关于flink 提交job参数不生效的问题

可以试试设置 -ytm 2048m 看看是不是还这样 wangweigu...@stevegame.cn 于2020年4月14日周二 下午2:16写道： > > 应该是你设置的 -ytm 和 -yjm内存大小比yarn container最小容器内存都小吧！ > yarn最小容器内存的参数： yarn.scheduler.minimum-allocation-mb > 容器内存增量： yarn.scheduler.increment-allocation-mb > > 发件人： guanyq > 发送时间： 2020-04-14 14:05 > 收件人： user-zh >

Re: Re: Flink 1.10读取kafka数据，打包jar，提交任务到集群运行测试，遇到java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/kafka/FlinkKafkaConsumerBase问题，求救大神帮忙解答，谢谢！

应该加了 flink-connector-kafka_2.11-1.10.0.jar 这个就行 wangweigu...@stevegame.cn 于2020年4月13日周一 下午3:09写道： > > 感谢flink道友解答，谢谢！ > > > 目前是通过maven来开发flink程序，只是编译打包到集群运行的时候缺少kafka依赖包，flink-connector-kafka_2.11-1.10.0.jar，flink-connector-kafka-base_2.11-1.10.0.jar，kafka-clients-1.0.1-kafka-3.1.1.jar >

Re: 关于kafka connector通过python链接

hi, 秦寒 暂时还没有 Python 这块的 API，可以去社区 JIRA 提建议 Best zhisheng 秦寒 于2020年4月8日周三 下午4:10写道： > 您好 > >Flink的 kafka connector 文档中只有java 和scala的列子，能否添加python > 调用kafka的列子，包括如何添加kafka connector，kafka client的jar包配置到pyhon > 环境等，谢谢。 > > > >

Re: 关于flink生产日志问题

hi, guanyq 正常来说任务运行的异常日志可以在 flink ui 中的 taskmanager 日志中查看，如果作业挂了或者被 kill 之后的话 ui 上是看不到日志了，但是可以在 yarn 上面找到该 container，查看该 jobmanager 的日志。 更好的做法是使用一些 log agent（比如 filebeat） 统一采集作业的日志，然后收集到 ElasticSearch 中，这样就可以查看历史的所有作业日志了 Best！ zhisheng guanyq 于2020年4月8日周三 下午3:12写道： > 您好： > >

Re: ddl es 报错

hi，Leonar Xu 官方 ES DDL 现在不支持填写 ES 集群的用户名和密码，我现在在公司已经做了扩展，加了这个功能，请问社区是否需要这个功能？我该怎么贡献呢？ 效果如图：http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-25-053948.png Best Wishes！ zhisheng Leonard Xu 于2020年3月24日周二 下午5:53写道： > Hi, 出发 > 看起来是你缺少了依赖es connector的依赖[1]，所以只能找到内置的filesystem conne

Re: flink sql 去重算法

hi, LakeShen 那我这边的场景和你还不太一样，我这边主要是 SQL 作业才有这种问题，算法和数仓的同学他们没有使用 DataStream API 开发，自然也用不上 ProcessFunction 和 Timer，另外场景也不太一样，我遇到的这几个大状态作业才开三小时的滑动窗口（一分钟滑一次），没有你的那种（一天/三天）这么长。不过还是感谢你！ Best wishes, zhisheng LakeShen 于2020年3月20日周五 下午3:23写道： > Hi zhisheng, > > 咱们遇到的问题差不多，昨天遇到一个滑动窗口状态很大的问题，由于

Re: flink sql 去重算法

来后，都一个个联系优化后再上线的，后面我再看看怎么在框架层做到加上这种优化的配置。 Best wishes, zhisheng LakeShen 于2020年3月20日周五 下午1:36写道： > Hi zhisheng, > > 我之前也遇到类似的问题，Flink 状态默认永久保留，针对这种 SQL 任务，我想到的就是设置状态空闲保留时间。 > 比如按照天来聚合的，空闲状态的最小保留时间26小时，最大空闲撞他为48小时(具体时间根据业务来设置)， > 总之肯定要设置一个最小和最大的空闲状态保留时间，不可能让状态永久保留。 > >

Re: flink sql 去重算法

hi， 我发现我们生产有些使用 SQL 的 count distinct 去做去重，当作业跑了很久，作业的 Checkpoint state 很大（我这周就遇到过一个差不多 400G 的，导致 Checkpoint 很容易超时，并且可能会对 HDFS 集群的网卡也有一定的压力），我看官网文档有介绍说使用 query_configuration

Re: Field types of query result and registered TableSink [Result] do not match

好的，了解了，多谢 Jark Jark Wu 于2020年3月19日周四 上午10:39写道： > Hi zhisheng, > > 目前 kafka source & jdbc sink 都是用的 TypeInformation ，所以都只能声明成 38, 18 或者直接写 > DECIMAL ，默认就是 38, 18。 > 这个问题会在升级到 new source/sink interface （FLIP-95）后有效解决。 > > Best, > Jark > > On Thu, 19 Mar 2020 a

Re: Field types of query result and registered TableSink [Result] do not match

对的，这是生产的一个 1.9 blink planner 作业，今天我测试一下 1.10 blink planner Jark Wu 于2020年3月18日周三 下午11:47写道： > Hi zhisheng, > > 你用的是1.9吗？ 试过 1.10.0 blink planner 么？ > > On Wed, 18 Mar 2020 at 22:21, zhisheng wrote: > > > hi, all > > > > 我定义的一个表的一个字段（yidun_score）是

Field types of query result and registered TableSink [Result] do not match

hi, all 我定义的一个表的一个字段（yidun_score）是 numeric(5,2) 类型，写入 PostgreSQL 的 DDL yidun_score 字段也是定义的 numeric(5,2) 类型，结果会报异常。 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Field types of query result and registered TableSink [Result] do not match. Query result

Re: Re: flink sql join 可以有 state 存储并从 state 恢复数据吗？

http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-03-11-133919.png 我看现在还不支持 per job 模式，哎 zhisheng 于2020年3月11日周三 下午9:31写道： > 好的，我先去 look look，感谢 > > Kurt Young 于2020年3月11日周三 下午9:30写道： > >> https://github.com/ververica/flink-sql-gateway 了解一下 >> >> Best, &

Re: Re: flink sql join 可以有 state 存储并从 state 恢复数据吗？

好的，我先去 look look，感谢 Kurt Young 于2020年3月11日周三 下午9:30写道： > https://github.com/ververica/flink-sql-gateway 了解一下 > > Best, > Kurt > > > On Wed, Mar 11, 2020 at 9:26 PM zhisheng wrote: > > > hi, Kurt Young > > > > 除了使用 sql-client 可以使用纯 SQL 来执行，有没有其他的办法来

  1   2   >