flink k8s operator chk config interval bug.inoperative

kcz 573693...@qq.com  

请问1.18什么时候可以发布呢，想体验1.17jdk

??????flink-1.15.2 ConfigOption package-local method

ConfigOptions.key("pipeline.global-job-parameters").mapType().defaultValue(parameterTool.toMap()) --  -- ??: "user-zh"

flink-1.15.2 ConfigOption package-local method

??pipeline.global-job-parameters ?? ConfigOption ??new??

??????flink-1.14.4 ??????????????????

?? --  -- ??: &quo

flink-1.14.4 ??????????????????

select concat('1','2'),CURRENT_DATE(); No match found for function signature CURRENT_DATE()?? concat??

flink sink kafka exactly once????

flink-1.14.4kafka-2.4.0setTransactionalIdPrefixjob??IDchkIDSystem.currentTimeMillis()ID

?????? flink hive???? owner????????

github.com/apache/flink/pull/16745 Best regards, Yuxia - - ??: "kcz" <573693...@qq.com.INVALID> ??: "user-zh"

flink hive???? owner????????

flink-1.14.4 hive-3.1.0 ??flinkhive??hivehive??owner??kerberosowner?? owner

flink-1.14.0 chk????kafka offset????

?? flink-1.14.0chk(500ms??) source??kafka??-> (1min??windowcount) -> sink(mysql) ??kafka1??kafka ??sink??kafka?

flink-1.14.0 sql ??array ????

select??sumsumtypeMySQLMySQL (id,type,value) SQL?? CREATE TABLE kafka_table (                              vin STRING,                              speed DOUBLE,                      

??????flink-1.14 ???? kafkasource ????watermark????

??globalWindowtriggertimes.public class PathMonitorJob { private static final String PATH = "path"; private static double THRESHOLD; public static void main(String[] args) throws Exception {

flink-1.14 ???? kafkasource ????watermark????

times??+20??StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); KafkaSource

flink-1.12.5 ????HIVDE DDL ????????comment??????hive????????????????comment

hive3.1.0 ddl: create table test_hive(  id int comment 'test comment' ) PARTITIONED BY (dt STRING) STORED AS orc TBLPROPERTIES (    'partition.time-extractor.kind'='custom',    'partition.time-extractor.timestamp-pattern'='$dt',    'partition.time-extractor.class'='com.hycan.bigdata.utils.

??????flink-1.12.0(1.13.2????????????) select datas[1].filed_1,datas[1].filed_2????????????????????

soryy ?? --  -- ??: &quo

flink-1.12.0(1.13.2????????????) select datas[1].filed_1,datas[1].filed_2????????????????????

??INDEX??INDEX++ ??valuearray CREATE TABLE KafkaTable (   datas array

flink-1.12.0 ddl????watermark error??????1.13.2????????

SQL1.12.0??watermark?? CREATE TABLE KafkaTable (   test array

?????? flink-1.12.0 ?????? ???? lag????

er-zh" https://issues.apache.org/jira/browse/FLINK-19449 kcz <573693...@qq.com.invalid> ??2021??9??22?? 11:41?? > > behavior,next_bv > > > ?? > { > &nbsp;&n

flink-1.12.0 ?????? ???? lag????

behavior,next_bv ?? {   "user_id": 1,   "item_id": 1,   "behavior":"pv1" } {   "user_id": 1,   "item_id": 1,   "behavior":"pv2" } CREATE TABLE KafkaTable (   `user_id` BIGINT,   `item_id` BIGINT,   `be

回复：flink-1.13.1 ddl kafka消费JSON数据 (ObjectNode) jsonNode错误

大佬们，帮看一下，为什么那里会出现类型转换异常了。 -- 原始邮件 -- 发件人: kcz <573693...@qq.com> 发送时间: 2021年7月1日 22:49 收件人: user-zh

flink-1.13.1 ddl kafka????JSON???? (ObjectNode) jsonNode????

:1.13.1 : Caused by: java.lang.ClassCastException: org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.TextNode cannot be cast to org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.ObjectNode at org.apache.flink.formats.json.JsonToRowDa

Re: flink-1.13.1 sql error

大佬们 帮看下这个是为什么提示那个错误 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink-1.13.1 sql error

sql?? CREATE TABLE user_behavior (     user_id BIGINT,     item_id BIGINT,     category_id BIGINT,     behavior STRING,     ts STRING ) WITH (     'connector' = 'kafka',     'topic' = 'user_behavior',     'scan.startup.mode' = 'latest-offset',     'properties.bootstrap.servers' = 'localhost:909

Re: apache flink

我的理解，flink是一个任务执行引擎，你需要的功能应该是任务调度器吧，比如airflow等。 -- Original -- From: Waldeinsamkeit. <1214316...@qq.com> Date: Tue,Jan 5,2021 11:13 AM To: user-zh

回复：flink-1.12 注册udf问题

是使用时候没有匹配参数个数问题，已经解决。 -- 原始邮件 -- 发件人: kcz <573693...@qq.com> 发送时间: 2020年12月26日 15:24 收件人: user-zh

flink-1.12 注册udf问题

使用了 createTemporarySystemFunctiom来注册udf，使用时候no.match.found.for.function，目前是手机，不太方便粘贴更多信息。

回复：Flink 1.11里如何parse出未解析的执行计划

这里我当时也想要弄一下，不过失败了我。最后用了calcite来弄，你这块具体是如何去弄的？ -- 原始邮件 -- 发件人: 马阳阳

flink sql 窗口函数对分区的这个列进行过滤

因为列会有默认值，也有真实的，我想取到真实的那个列，这个功能如何实现一下。想到了窗口函数，发现不能进行过滤，还有一种骚操作是求max min。之后if来操作。

flink??????DDL????????????????????????????

??if ??

回复：flink1.11 sql问题

这个功能非常好的，因为第三方数据总是搞事情，动不动就加字段，改名字的。 -- 原始邮件 -- 发件人: Benchao Li https://issues.apache.org/jira/browse/FLINK-18002 酷酷的浑蛋

?????? flink 1.10.1 ???????? OutOfMemoryError: Metaspace

??ES5??pretty good?? --  -- ??: "user-zh"

回复：flink-1.10.1 想用 DDL 入 ES5.6

3f&gt; 一套后，再打一个 es5 的sql jar 就好了。 > > 祝好 > Leonard > [1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184&gt; > > > &gt; 在 2020年8月14日，10:14，kcz <573693...@qq.com&gt; 写道： > &gt; > &gt; 查看您说的[1]的url之后，发现里面

??????flink-1.10.1 ???? DDL ?? ES5.6

ES5??sql??ES5 sinK??connect?? --  -- ??: &quo

回复：flink-1.10.1 想用 DDL 入 ES5.6

gt;; 一套后，再打一个 es5 的sql jar 就好了。 祝好 Leonard [1] https://github.com/apache/flink/pull/12184 <https://github.com/apache/flink/pull/12184>; > 在 2020年8月14日，10:14，kcz <573693...@qq.com> 写道： > > 查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink-1.10.1 想用 DDL 入 ES5.6

查看您说的[1]的url之后，发现里面并没有跟 es sql jar有关的。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink-1.10.1 ???? DDL ?? ES5.6

DDL??ES6??ES5ES5

回复：请教：时间属性字段传递问题，有办法解决吗？

可以再解释一下吗？还是没有看太懂是哪里出错，以及为什么那样就可以解决问题。 -- 原始邮件 -- 发件人: Tianwang Li

?????? flink-1.11 ????????

--  -- ??: "user-zh"

回复：flink-1.11 模拟背压

嗯嗯 yeah。ui上看不到数据进来，应该会进souce算子的把，我只有map sleep了。可是也没有看到背压。 我不断产生数据100w以上了。 -- 原始邮件 -- 发件人: shizk233

flink-1.11 模拟背压

我想看下背压的指标数据，我往kafka发送了100w数据，但是source我也没有看到数据被消费，是我哪里模拟错了吗 public static void main(String[] args) throws Exception{ StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.enableCheckpointing(2000L, CheckpointingMode.EXACTLY_ONCE); env.setStateBacken

?????? flink-1.11 hive-1.2.1 ddl ????????????

sorry,idea??log4j??process-time ?? process time??log?? --  -- ??:

flink-1.11 hive-1.2.1 ddl ????????????

hive package com.hive; import org.apache.flink.runtime.state.filesystem.FsStateBackend; import org.apache.flink.streaming.api.CheckpointingMode; import org.apache.flink.streaming.api.TimeCharacteristic; import org.apache.flink.streaming.api.environm

回复：flink row 类型

哇 这个方式很取巧了 好机智  我之前就是一直索引取值 学习一下 -- 原始邮件 -- 发件人: Jark Wu

回复：flink-1.11 ddl kafka-to-hive问题

#use-hive-dialect > > > > > 在 2020年7月21日，22:57，kcz <573693...@qq.com> 写道： > > > > 一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的 > > > > > > > > > > > > -- 原始邮件 -- > > 发件人: JasonLee <1

回复：flink-1.11 ddl kafka-to-hive问题

一直都木有数据 我也不知道哪里不太对 hive有这个表了已经。我测试写ddl hdfs 是OK的 -- 原始邮件 -- 发件人: JasonLee <17610775...@163.com> 发送时间: 2020年7月21日 20:39 收件人: user-zh

flink-1.11 ddl kafka-to-hive????

hive-1.2.1 chk ??chkchk??kafkahive?? String hiveSql = "CREATE TABLE stream_tmp.fs_table (\n" + " host STRING,\n" + " url STRING," + " public_date STRING" + ") partitioned by (public

flink-1.11 ????hive-1.2.1 DDL????

idea ??hivepom hive-exec flink-connector-hive_2.11 : StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setParallelism(1); env.enableCheckpointing(60*1000, CheckpointingMode.EXACTLY_ONCE); //

?????? flink-1.11 ddl ????json ??????????hdfs????

er-zh" https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/filesystem.html#rolling-policy Best, Jingsong On Fri, Jul 17, 2020 at 4:25 PM kcz <573693...@qq.com> wrote: > > > https://ci.apache.org/

flink-1.11 ddl ????json ??????????hdfs????

https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/filesystem.html#full-example ??parquet??json??chk??in-progress parquet??success

?????? flink-1.11 DDL ????hdfs???? Cannot instantiate user function

??parquet??error?? java.lang.NoClassDefFoundError: org/apache/parquet/hadoop/ParquetWriter$Builder at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defineClass(ClassLoader.java:760) at java.security.SecureClassLoader.defineClass(SecureCl

??????flink-1.11 DDL ????hdfs???? Cannot instantiate user function

??bug?? classloader.resolve-order: parent-first ??bug??parquet --  -- ??: &quo

flink-1.11 DDL ????hdfs???? Cannot instantiate user function

standalone  lib  jar?? flink-connector-hive_2.11-1.11.0.jar        flink-json-1.11.0.jar                        flink-sql-connector-kafka_2.12-1.11.0.jar  log4j-api-2.12.1.jar flink-csv-1.11.0.jar                        flink-parquet_2.11-1.11.0.jar                flink-table_2.11-1.11.0.j

回复：flink-1.11 DDL 设置chk目录问题

谢谢 我一直用的是 streamEnv去设置config 今天看到table也可以，如果我用stream去设置 也是可以的吧 -- 原始邮件 -- 发件人: Leonard Xu

flink-1.11 DDL ????chk????????

??streameEnv.setStateBackend(new FsStateBackend(checkpointPath)); DDL tableEnv.getConfig().getConfiguration().set( ExecutionCheckpointingOptions.CHECKPOINTING_MODE, CheckpointingMode.EXACTLY_ONCE); tableEnv.getConfig().getConfiguration().set( Exe

?????? ????????????????????????????

windowflink?? --  -- ??: "Congxian Qiu"https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/state/state.html#%E7%8A%B6%E6%80%81%E6%9C%89%E6%95%88%E6%9C%9F-ttl [2] https://ci.apa

回复：Flink sql 主动使数据延时一段时间有什么方案

设置一个窗口时间，如果有需要取最新的，可以再做一下处理。 -- 原始邮件 -- 发件人: admin <17626017...@163.com> 发送时间: 2020年7月3日 18:01 收件人: user-zh

?????? flink sql if ????????????

tks  --  -- ??: "Benchao Li"

?????? ????????????restart????????OOM

1.10.0??1.11.0classloader?? OK??OOMmetaspaceOOM?? --  -- ??: ""https://issues.apache.org/jira/brows

flink sql if ????????????

flink-1.10.1 blink_planner if Cannot apply 'IF' to arguments of type 'IF(

??????flink open ???? transient??????????

??state --  -- ??: ""<13162790...@163.com>; : 2020??6??24??(??) 1:36 ??: "user-zh"

flink open ???? transient??????????

??open??mysql??client ??state??transient??

?????? flink1.11 ??????(???? DDL ??????(???? Table ????))

?? --  -- ??: ""https://developer.aliyun.com/live/2894?accounttraceid=07deb589f50c4c1abbcbed103e534316qnxq 04:17:00?? Kurt Young https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/create.html#

?????? flink1.11 ??????(???? DDL ??????(???? Table ????))

tks --  -- ??: "Kurt Young"

flink1.11 ??????(???? DDL ??????(???? Table ????))

Table

回复：kafka相关问题

你这个表达，实时kafka的一条记录，你要最新的那个是吧，你最新的判断标准是什么？根据什么特性来，表达清楚一点哇。 -- 原始邮件 -- 发件人: 小学生 <201782...@qq.com> 发送时间: 2020年6月10日 18:15 收件人: user-zh

?????? ????FlinkSQL????operatoer??????savepoint??????????????

tks --  -- ??: "Yichao Yang"<1048262...@qq.com>; : 2020??6??10??(??) 11:32 ??: "user-zh"https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html &gt; &gt; &gt

?????? ????FlinkSQL????operatoer??????savepoint??????????????

sql operatorID??ID --  -- ??: "??"https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/savepoints.html > > > > ?S

??????????????????????????????????

sorry?? --  -- ??: "1048262223"<1048262...@qq.com>; : 2020??6??9??(??) 5:07 ??: "user-zh"

????????????????????????????

join??open ??

?????? Flink SQL UDF ????????

map ??tks?? --  -- ??: "1048262223"<1048262...@qq.com>; : 2020??6??9??(??) 4:51 ??: "user-zh"

?????? Flink SQL UDF ????????

udfudf --  -- ??: "Benchao Li"

回复：flink sql upsert模式写入mysql，es等key一定是groupby之后所有字段吗

我大概get到你要说的需求，select那些其实是明细数据？但是没有跟聚合的数据拆开，所以才出现这种情况吧？ -- 原始邮件 -- 发件人: Leonard Xu https://ci.apache.org/projects/flink/flink-docs-stable/dev/table/streaming/query_configuration.html#idle-state-retention-time

回复：flink-1.10 读取hdfs目录下面所有文件，无输出

ojects/flink/flink-docs-release-1.10/dev/connectors/streamfile_sink.html#rolling-policy Best Sun.Zhu | | Sun.Zhu | | 17626017...@163.com | 签名由网易邮箱大师定制 在2020年06月2日 19:20，kcz<573693...@qq.com> 写道： 代码如下： String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/"; StreamEx

flink-1.10 ????hdfs????????????????????????

?? String path = "hdfs://HACluster/user/flink/test-1/2020-05-29--15/"; StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); FileInputFormat fileInputFormat = new TextInputFormat(new Path(path)); fileInputFormat.setNestedFileEnumeration(true); env.readFile(

?????? flink-1.10.0 hive-1.2.1 No operators defined in streaming topology

?? ??  --  -- ??: "Benchao Li"