from:"xushanshan"

flink 1.10.2 Unknown operation 108

2021-02-28 文章 xushanshan

flink 1.10.2 使用sql编写的任务，凌晨总是报如下所示的错误，但是任务没停数据正常，请问是什么原因？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink sql 任务滑动窗口失效

2020-12-08 文章 xushanshan

-- Sent from: http://apache-flink.147419.n8.nabble.com/

flink sql 任务滑动窗口失效

2020-12-07 文章 xushanshan

业务场景：滑动窗口大小5分钟，滑动频率1分钟，使用事件事件做watermark，发现滑动窗口的计算结果输出包含delete状态的数据且窗口计算的触发频率不是配置的1分钟，问题的原因是什么？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 统计数据含有中间回撤数据的问题

2020-09-27 文章 xushanshan

关于这个问题的后续案例和我司的解决方案在这个链接内，因为nabble的显示排版问题，内容没能发布在讨论区，望大家谅解，也欢迎大家给出这个问题的宝贵建议 http://xushanshan.gitee.io/piclab/flink/checkpoint/transactionBarrier.html -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 统计数据含有中间回撤数据的问题

2020-09-27 文章 xushanshan

案例问题二 *输入数据顺序为* *实际的输出结果* *问题分析* 1.由于两个union的结果计算逻辑不一致且都有回撤的数据，union之后回撤的情况更加频繁了，写出到下游存储引擎回撤的情况更加严重，业务几乎不能正常使用 2.flink官方的flink-jdbc实现内，既基于checkpoint触发频率写出数据，又基于目前数据累积是否达到一批数据的条数写出数据，当中间回撤数据和后续的更新数据分在了两个批次写到下游储存引擎将会导致问题 *临时解决方案* 无 *产生回撤数据的原因*

Re: 统计数据含有中间回撤数据的问题

2020-09-27 文章 xushanshan

Flink SQL 更新数据含有回撤数据的问题案例问题一问题描述 CREATE TABLE kafka_source ( `policy_id` BIGINT , `premium` int , `gmt_created` TIMESTAMP(3)) WITH ( format.type=json, connector.type=kafka, connector.version=0.11, connector.topic=data-flink-test-blcs-201912301523,

Re: 统计数据含有中间回撤数据的问题

2020-09-27 文章 xushanshan

Flink SQL 更新数据含有回撤数据的问题案例问题一问题描述 CREATE TABLE kafka_source ( `policy_id` BIGINT , `premium` int , `gmt_created` TIMESTAMP(3) ) WITH ( format.type=json, connector.type=kafka, connector.version=0.11, connector.topic=data-flink-test-blcs-201912301523,

Re: 统计数据含有中间回撤数据的问题

2020-09-27 文章 xushanshan

Flink SQL 更新数据含有回撤数据的问题案例问题一问题描述 CREATE TABLE kafka_source ( `policy_id` BIGINT , `premium` int , `gmt_created` TIMESTAMP(3)) WITH ( format.type=json, connector.type=kafka, connector.version=0.11, connector.topic=data-flink-test-blcs-201912301523,

Re: 怎么样在Flink中使用java代码提交job到yarn

2020-09-25 文章 xushanshan

可以捕获控制台打印出来的日志，flink相关日志的格式很固定，字符串截取就能获得 yarn application id 和 flink job id > 在 2020年9月25日，下午4:23，xiao cai 写道： > > Hi all： > 大家好，我目前遇到一个flink 任务提交方面的困扰： > 想要在自己的项目中（springboot）提交flink >