?????? flink on yarn????????

logback??appder??appder(flinktaskmanager??applicationIdjar??appder)??MDC.put(),appIdappder?? --  

Re: flink sql 1.10 insert into tb select 复杂schema 失败

赞👍 （不过这个应该只是json format的bug，跟connector没有关系） Peihui He 于2020年7月15日周三 下午1:16写道： > Hi BenChao, > > 换成1.10.1 就可以了。刚才那封邮件不行，是因为依赖flink-kafka的依赖版本没有修改过来。 > Thank you. > > > Benchao Li 于2020年7月15日周三 上午10:25写道： > > > Hi Peihui, > > > > 这是一个已知bug[1]，已经在1.10.1和1.11.0中修复了，可以尝试下这两个版本。 > > > > [1] https://i

Re: flink 1.11 upsert????????

??Python??

Re: flink sql 1.10 insert into tb select 复杂schema 失败

Hi BenChao, 换成1.10.1 就可以了。刚才那封邮件不行，是因为依赖flink-kafka的依赖版本没有修改过来。 Thank you. Benchao Li 于2020年7月15日周三 上午10:25写道： > Hi Peihui, > > 这是一个已知bug[1]，已经在1.10.1和1.11.0中修复了，可以尝试下这两个版本。 > > [1] https://issues.apache.org/jira/browse/FLINK-16220 > > Peihui He 于2020年7月15日周三 上午9:54写道： > > > Hello， > > > >

Re: flink 1.9.2 升级 1.10.0 任务失败不能从checkpoint恢复

Hi 我尝试理解一下： 1 你用 1.9 跑 wordcount 作业，然后执行了一些 checkpoint，然后停止作业，然后使用 1.10 从之前 1.9 的作业生成的 checkpoint 恢复，发现恢复不了？ 2 你用作业 1.10 跑 wordcount，然后遇到特定的 word 会抛异常，然后 failover，发现不能从 checkpoint 恢复？ 你这里的问题是第 1 种还是第 2 种呢？ 另外能否分享一下你的操作步骤以及出错时候的 taskmanager log 呢？ Best, Congxian Peihui He 于2020年7月14日周二 下午2:46

Re: flink sql 1.10 insert into tb select 复杂schema 失败

Hi BenChao, 刚才尝试了flink 1.10.1 但是问题还是存在，看了 [1] https://issues.apache.org/jira/browse/FLINK-16628 这个bug fix没有我给的 table 复杂， CREATE TABLE source_kafka_sasl ( svt STRING, ops ROW ) WITH () 我的是在原有的ops 里面又前嵌套了row。 Benchao Li 于2020年7月15日周三 上午10:25写道： > Hi Peihui, > > 这是一个已知bug[1]，已经在1.10.

Re: pyflink1.11.0window

举个sql例子 select platformcodetoname(payPlatform) as platform, sum(payAmount) as pay_amount, cast(tumble_start(rt, interval '5' seconds) as BIGINT) as rowtime from payment_msg group by tumble(rt, interval '5' seconds), payPlatform 这个query 对每5s的tumble窗口做统计。 奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月15日周三 上午

Re: flink 1.11 upsert结果出错

Hi， 基本类似的，具体拼delete sql会根据 pk 来, 可以看下delete executor的代码[1] 祝好， Leonard Xu 【1】https://github.com/apache/flink/blob/master/flink-connectors/flink-connector-jdbc/src/main/java/org/apache/flink/connector/jdbc/internal/executor/BufferReduceStatementExecutor.java#L89

Re: flink1.11.0 java.lang.NoSuchMethodError:org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

谢谢，确实是jar包冲突的问题，替换完包以后已经可以了 原始邮件 发件人: JasonLee<17610775...@163.com> 收件人: user-zh 发送时间: 2020年7月15日(周三) 11:04 主题: Re: flink1.11.0 java.lang.NoSuchMethodError:org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread 这个很明显是jar包冲突了 只保留flink-sql那个包就行了 | | JasonLee | | 邮箱：17610775..

回复：TableEnvironment 里面无法执行 Hop等窗口函数

hi 滑动窗口只有在stream里面才会有 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master 在2020年07月15日 09:19，王双利 写道： TableEnvironment 里面无法执行 Hop等窗口函数，使用StreamTableEnvironment 则可以执行，Flink版本1.10 是否是这样的

?????? pyflink1.11.0window

Shuiqiang    ??window?? --  -- ??: "user

Re: flink 1.11 upsert????????

update??delete??delete??delete table1 where score=1;??

Re: flink1.11.0 java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

这个很明显是jar包冲突了 只保留flink-sql那个包就行了 | | JasonLee | | 邮箱：17610775...@163.com | Signature is customized by Netease Mail Master On 07/15/2020 10:48, dmt312_2010 wrote: Hi, 大家好，请教各位大佬一个问题，我在验证flink 1.11.0时，遇到如下问题： 报错信息： [ERROR] Could not execute SQL statement. Reason: java.lang.NoSuchMethodError:

Re: flink1.11.0 java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

Hi, 两个kafka connector是会冲突的，还有一点是 SQL client 里应该用 sql 的connector依赖吧， flink-sql-connector-kafka_2.12-1.11.0.jar 祝好， Leonard Xu > 在 2020年7月15日，10:56，Paul Lam 写道： > > Hi, > > 看起来是 Kafka connector class 冲突了，flink-connector-kafka_2.12-1.11.0.jar 和 > flink-connector-kafka-0.10_2.12-1.11.0.jar 不能同时

Re: flink1.11.0 java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

Hi, 看起来是 Kafka connector class 冲突了，flink-connector-kafka_2.12-1.11.0.jar 和 flink-connector-kafka-0.10_2.12-1.11.0.jar 不能同时加到 classpath 里。 Best, Paul Lam > 2020年7月15日 10:48，dmt312_2010 写道： > > Hi, > 大家好，请教各位大佬一个问题，我在验证flink 1.11.0时，遇到如下问题： > > > 报错信息： > > > [ERROR] Could not execute SQL st

Re: pyflink1.11.0window

琴师你好， 异常栈信息org.apache.flink.table.api.ValidationException: A tumble window expects a size value literal. 看起来是接下tumble window定义的代码不太正确吧 Best, Shuiqiang 奇怪的不朽琴师 <1129656...@qq.com> 于2020年7月15日周三 上午10:27写道： > 你好： >     >  我按着你回复的建议改了source但是会报新的错误，请问这个是因为什么？我想调试一个window一直没有成功，请帮帮我，谢谢。 > Traceback (

flink1.11.0 java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread

Hi, 大家好，请教各位大佬一个问题，我在验证flink 1.11.0时，遇到如下问题： 报错信息： [ERROR] Could not execute SQL statement. Reason: java.lang.NoSuchMethodError: org.apache.flink.streaming.connectors.kafka.internal.KafkaConsumerThread.(Lorg/slf4j/Logger;Lorg/apache/flink/streaming/connectors/kafka/internal/Handover;Ljava/util

????????Flink Hadoop????????

Flink 1.11.0docker-compose??docker-compose?? version: "2.1" services:   jobmanager:     image: flink:1.11.0-scala_2.12     expose:       - "6123"     ports:       - "8081:8081"     command: jobmanager     environment:       - JOB_MANAGER_RPC_ADDRESS=jobmanager      

Re: Flink1.10 flinksql 多表join状态ttl不成功的问题

Hi, 请问用的是什么版本，blink planner 还是 old planner？ 有没有简化一点的 query 也能复现这个 ttl 问题的？ 比如一层 groupby？ Best, Jark On Tue, 14 Jul 2020 at 15:36, Robin Zhang wrote: > > 我用flink sql 设置了 空闲状态的清理时间，但是 状态还是一直增加，里面有 多次 group by 和多次 流表的关联 。 > 代码如下： >

Re: flink 1.11 自定义RichFlatMapFunction中使用JdbcRowDataOutputFormat 写pgsql数据问题，RuntimeContext初始化问题，空指针或RuntimeContext未初始化，哪里用的不对！

Hi， 从异常来看，应该是少了如下这一行： outputFormatStatus = JdbcRowDataOutputFormat.dynamicOutputFormatBuilder() .setJdbcOptions(jdbcOptions) .setFieldDataTypes(fieldDataTypes) .setJdbcDmlOptions(dmlOptions) .setJdbcExecutionOptions(JdbcExecutionOptions.builde

?????? pyflink1.11.0window

??      ??source??window?? Traceback (most recent call last):   File "tou.py", line 71, in

Re: flink sql 1.10 insert into tb select 复杂schema 失败

Hi Peihui, 这是一个已知bug[1]，已经在1.10.1和1.11.0中修复了，可以尝试下这两个版本。 [1] https://issues.apache.org/jira/browse/FLINK-16220 Peihui He 于2020年7月15日周三 上午9:54写道： > Hello， > > 在使用flink sql 1.10.0 时候，当source table 中含有复杂schema，比如 > create table xxx ( > a string, > b row( > c row(d string) > ) > ) > >

Re: flink 1.10 sql kafka format json 定制schema时, 一个字段的数据可以定义为类似json object不？

就是现在Flink json已经有了对于VARBINARY类型的处理逻辑，就是string和byte[]互转，然后还需要有base64编码。 但是我们是想让对于VARBINARY的处理逻辑变成另外一种形式，就是把JsonNode直接toString，获取这个json子树的 字符串表示，然后再转成byte[]来作为这个字段。输出的时候，也会直接通过这个byte[]数据来构造一个JsonNode树， 然后放到对应的位置上。也就做到了一个json节点原封不动的保留到了输出里面，不管它是一个什么类型的json节点。 Peihui He 于2020年7月15日周三 上午9:59写道： > Hi

Re: flink 1.10 sql kafka format json 定制schema时, 一个字段的数据可以定义为类似json object不？

Hi BenChao, 请问第2个解决思路中 额外加一个选项是指什么呢？ Best wishes. Benchao Li 于2020年7月10日周五 下午1:54写道： > Hi Peihui, > > 正如Jark所说，FLINK-18002正是想解决这个问题，可以指定任意一个JsonNode为varchar类型。 > > 当然，这个feature不能解决所有问题，比如你有一个字段，内容不太确定，而且也不需要额外处理， > 主要是想保留这个字段，下游输出json的时候仍然还是这个字段。 > 如果用FLINK-18002的思路，输出到下游的时候，会把这部分数据整体作为一个json

Re: 滑动窗口数据存储多份问题

| 为什么使用 datastream api 的话，滑动窗口对于每条数据都会在 state 中存 size / slide 可以使用blink 的SQL，是通过pane 实现的，输出的时候才合并每个pane。参考`PanedWindowAssigner` 张浩 <13669299...@163.com> 于2020年7月6日周一 下午12:49写道： > Hi,all! > 由于第一次咨询，我不确定上一份邮件大家是否收到。 > 想咨询下大家，为什么使用 datastream api 的话，滑动窗口对于每条数据都会在 state 中存 size / slide > 份？ > > > |

flink sql 1.10 insert into tb select 复杂schema 失败

Hello， 在使用flink sql 1.10.0 时候，当source table 中含有复杂schema，比如 create table xxx ( a string, b row( c row(d string) ) ) 当c 中有值的时候，sql 如下 insert into select * from xxx会出现下面错误 Caused by: java.lang.ClassCastException: org.apache.flink.shaded.jackson2.com.fasterxml.jackson.databind.node.NullN

TableEnvironment 里面无法执行 Hop等窗口函数

TableEnvironment 里面无法执行 Hop等窗口函数，使用StreamTableEnvironment 则可以执行，Flink版本1.10 是否是这样的

回复：flink-1.11 DDL 设置chk目录问题

谢谢 我一直用的是 streamEnv去设置config 今天看到table也可以，如果我用stream去设置 也是可以的吧 -- 原始邮件 -- 发件人: Leonard Xu

Re:Re: flink 双流join报错，java.lang.AssertionError

hi, @Danny Chan 我在1.10版本中确实触发到了这个bug，切到1.11版本貌似就没这问题了。简单解释下问题：双流join的case，右边流join后的结果字段在获取时貌似乱序了。 在 2020-07-13 10:42:12，"Jark Wu" 写道： >cc @Danny Chan 也许 Danny 老师知道。 > >On Thu, 9 Jul 2020 at 17:29, sunfulin wrote: > >> >> hi, >> 我切到最新的1.11 release版本，跑同样的sql，没有抛出异常。想问下这有相关的is

Re: 自定义的sql connector在sql-cli中运行问题

解决了，原因是我同时实现了createTableSink和createStreamTableSink导致 删掉createTableSink就可以了 > 2020年7月14日 上午10:50，admin <17626017...@163.com> 写道： > > hi all， > 我自定义了一个sql > connector，在本地idea里面是调试通过的，数据能正常写入，但是整个flink编译之后，用编译后的包在本地起了standalone集群，在sql-cli中运行报错如下 > 2020-07-14 10:36:29,148 WARN org.apache.flink.tab

Re:Re: flink1.11 sink hive error

Hi, 我刚才把flink sink的hive table，hive hdfs目录都删了，hbase表数据也清空了（hbase 通过hue hive table方式查询），然后重启程序，就可以了， 等再出问题，我试下你这种方法，感谢答疑！ 在 2020-07-14 20:42:16，"Leonard Xu" 写道： >Hi, >你安装 hive 的 metastore 后，在你 hivehome/conf/hive-site.xml 文件中添加这样一个配置： > >hive.metastore.uris >thrift://xxx

Re: flink1.11 sink hive error

Hi, 你安装 hive 的 metastore 后，在你 hivehome/conf/hive-site.xml 文件中添加这样一个配置： hive.metastore.uris thrift://:9083 Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore. 一般生产环境应该也是这样配置， 然后 Flink 对接到hive配置参考[1]，应该和你之前用的没啥变化，就是不支持 embedded 的 metast

Re: flink-1.11 DDL 设置chk目录问题

Hi， 没有太理解在DDL中设置，TableConfig上也可以设置 StreamEexecutionEnvironment 的 配置，你要的是这个吗？ tableEnv.getConfig().getConfiguration().set(CHECKPOINTS_DIRECTORY, "your-cp-path"); 祝好， Leonard Xu > 在 2020年7月14日，18:56，kcz <573693...@qq.com> 写道： > > 目前我只会设置streameEnv.setStateBackend(new FsStateBackend(checkpoint

Re:Re: flink1.11 sink hive error

Hi， 是在flink的conf文件配置hive.metastore.uris吗 在 2020-07-14 20:03:11，"Leonard Xu" 写道： >Hello > > >> 在 2020年7月14日，19:52，Zhou Zach 写道： >> >> : Embedded metastore is not allowed. > >Flink 集成 Hive 时，不支持 embedded metastore 的, 你需要起一个hive metastore 并在conf文件配置 >hive.metastore.uris, 支持的 met

Re: flink1.11 sink hive error

Hello > 在 2020年7月14日，19:52，Zhou Zach 写道： > > : Embedded metastore is not allowed. Flink 集成 Hive 时，不支持 embedded metastore 的, 你需要起一个hive metastore 并在conf文件配置 hive.metastore.uris, 支持的 metastore 版本 参考[1] Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, 看了下代码，Stream 模式 确实有这个问题， batch 没有，原因是： CollectStreamTableSink 实现的是 TupleTypeInfo> getOutputType() CollectBatchTableSink 实现的是 DataType getConsumedDataType() 刚刚搜了下，社区有个 issue [1] 在彻底解这个问题，Godgrey 已经开PR了，这应该会把这两个CollectSink都去掉，使用 TableResult#collect()来收集数据。 Best， Leonard Xu [1] https://issues.

flink1.11 sink hive error

hi all, flink1.11 sql sink hive table 报错： java.util.concurrent.CompletionException: org.apache.flink.client.deployment.application.ApplicationExecutionException: Could not execute application. at java.util.concurrent.CompletableFuture.encodeThrowable(CompletableFuture.java:292) ~[?:1.

flink-1.11 DDL ????chk????????

??streameEnv.setStateBackend(new FsStateBackend(checkpointPath)); DDL tableEnv.getConfig().getConfiguration().set( ExecutionCheckpointingOptions.CHECKPOINTING_MODE, CheckpointingMode.EXACTLY_ONCE); tableEnv.getConfig().getConfiguration().set( Exe

Re:Re:Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi： batchi模式执行结果： https://imgchr.com/i/UUqec6 batch模式日志： https://imgchr.com/i/UUboX8 streaming模式日志： https://imgchr.com/i/UUbYmF -- Best， wldd At 2020-07-14 18:43:39, "wldd" wrote: Hi： 图片的内容没展示出来，图片的内容就是个查询结果， error日志这是batch模式的debug日志： 2020-07-14 18:33:23,180 DEBUG org.apache.

Re: Re: 不能实时读取实时写入到 Hive 的数据

谢谢，根本原因就是 flink sql-client 客户端默认没有设置 checkpoint 导致的。 wangl...@geekplus.com.cn Sender: Rui Li Send Time: 2020-07-14 18:29 Receiver: user-zh cc: Leonard Xu; 夏帅 Subject: Re: Re: 不能实时读取实时写入到 Hive 的数据 流数据写hive时，不管是分区表还是非分区表，commit都是通过checkpoint触发的。用SQL client的话可以在flink-conf.yaml里设置execution.che

Re:Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi： 图片的内容没展示出来，图片的内容就是个查询结果， error日志这是batch模式的debug日志： 2020-07-14 18:33:23,180 DEBUG org.apache.flink.connector.jdbc.table.JdbcRowDataInputFormat [] - No input splitting configured (data will be read with parallelism 1). 2020-07-14 18:33:23,181 DEBUG org.apache.calcite.sql2rel

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, 前面邮件图都挂了，理论上 SQL Client 都是会强转的，可以发个图床链接上或者贴下可以复现的代码吗？ 祝好 > 在 2020年7月14日，18:21，wldd 写道： > > Hi， > batch模式用的不是用的legacy 的数据类型么，batch模式并没有对decimal进行强转 > > > > > > -- > Best， > wldd > > > 在 2020-07-14 18:08:41，"Leonard Xu" 写道： > >Hi, > > > >SQL client 读取mysql的部分想当于一个connector, 这个connec

Re: Re: 不能实时读取实时写入到 Hive 的数据

流数据写hive时，不管是分区表还是非分区表，commit都是通过checkpoint触发的。用SQL client的话可以在flink-conf.yaml里设置execution.checkpointing.interval来开启checkpoint On Tue, Jul 14, 2020 at 5:49 PM wangl...@geekplus.com.cn < wangl...@geekplus.com.cn> wrote: > 我把问题简化一下，创建 Hive 表时不带任何参数 > > CREATE TABLE hive_ods_wms_pick_order ( > ord

Re: flink 1.11 upsert结果出错

是的，目前是更新相同pk的记录，如果需要统计相同pk的记录， Flink表不声明PK就是append 写入，就会有写入多条记录，(DB里的表也不声明pk，不然insert会报错)。 祝好 > 在 2020年7月14日，18:21，小学生 <201782...@qq.com> 写道： > > 嗯嗯，谢谢大佬的解答，还有一个问题就是sql自己的语法是支持增量式的比如score=score+1,现在flink1.11特性反应成数据库 upsert > SQL的方式，其实是全量的更新同Pk的记录吧，并达不到增量的情况吧。

Re: flink cep 如何处理超时事件？

Hi drewfranklin, flink使用event time，然后类似下面这样可以吗？ Pattern.begin("a").next("b").within(Time.minutes(1)); Best, shizk233 drewfranklin 于2020年7月14日周二 上午11:05写道： > Hello all. > 想请教下各位。 > > 我有个用户开户超时断点的场景。调研了一下，想通过flink cep 来实现。 > > 但是我定义pattern 后发现，我的这个没办法在一条事件数据上完成判定。必须借助和上一事件数据比较之后判断是不是超时。 > > > 想

Re: flink 1.11 upsert????????

??sqlscore=score+1,flink1.11 upsert SQL??Pk

Re:Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi， batch模式用的不是用的legacy 的数据类型么，batch模式并没有对decimal进行强转 -- Best， wldd 在 2020-07-14 18:08:41，"Leonard Xu" 写道： >Hi, > >SQL client 读取mysql的部分想当于一个connector, 这个connector只支持 >DECIMAL（38，18）的，所有DECIMAL（p, s）都会转到这个类型，这是因为SQL Client还是用的legacy 的数据类型。 >你可以用其他 connector 如 Filesystem、Kafka等con

Re: flink 1.11 upsert结果出错

Hello, > 在 2020年7月14日，17:56，小学生 <201782...@qq.com> 写道： > > ON DUPLICATE KEY UPDATE 这个语法 Flink 还不支持的，官网上说的 Flink 的 JDBC connector 实现 幂等写入[1]的方式，就是有相同pk的数据在写入数据库时，翻译成数据库 upsert SQL的方式，这里说的语法是数据库的 SQL 语法 。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/ta

Re: flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

Hi, SQL client 读取mysql的部分想当于一个connector, 这个connector只支持 DECIMAL（38，18）的，所有DECIMAL（p, s）都会转到这个类型，这是因为SQL Client还是用的legacy 的数据类型。 你可以用其他 connector 如 Filesystem、Kafka等connector读取， 社区已经有一个issue[1] 在跟进了。 祝好， Leonard Xu [1] https://issues.apache.org/jira/browse/FLINK-17948

Re: flink1.9.1-消费kafka落pg库任务出错

Hi nicygan, unable to create new native thread指的是无法创建checkpoint线程，并不是内存占用过大。 这种情况一般有3种可能的原因： 1.flink应用开启太多线程 2.机器上句柄设置太小 3.机器上的其他应用开启太多线程 建议排查一下机器上的ulimit设置（文件句柄会影响应用能开启的线程数），和flink metrics里监控到的线程数变化。 Best, shizk233 nicygan 于2020年7月14日周二 上午10:31写道： > dear all： > > 我有一个消费kafka数据写到pg库的任务，任务发生

flink1.11.0读取mysql数据decimal类型会强转成decimal(38,18)的问题

hi，all： 现在遇到一个问题，通过sql-client读取mysql数据时，decimal类型会强转成decimal(38,18) mysql ddl： CREATE TABLE `test2` ( `money` decimal(10,2) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8; insert into test2 values(10.22); flink ddl： CREATE TABLE test2 ( money decimal(10, 2) ) WITH ( 'connector.type

Re: flink 1.11??????????mysql????

??

flink 1.11 upsert????????

flink??Kafka??mysqlmysqlon DUPLICATE??linuxpython *.py from pyflink.datastream import StreamExecutionEnvir

Re: 退订

Hi 打错了，发送任意邮件到 dev-subscr...@flink.apache.org 即可订阅来自dev @flink.apache.org 的邮件 祝好， Leonard Xu > Hi, > 类似的，发送任意邮件到 dev-subscr...@flink.apache.org >

回复: Re: 不能实时读取实时写入到 Hive 的数据

我把问题简化一下，创建 Hive 表时不带任何参数 CREATE TABLE hive_ods_wms_pick_order ( order_no STRING, status INT, dispatch_time TIMESTAMP ) STORED AS parquet INSERT INTO TABLE hive_ods_wms_pick_order SELECT order_no, status, dispatch_time FROM kafka_ods_wms_pick_order; 我用的 sql-client 客户端，15 分钟过去了 hive 表对应的

Re: Re: 退订

你好, 可以发送订阅到d...@flink.apache.org 参见 https://flink.apache.org/community.html zhaoheng.zhaoh...@qq.com 发件人： zilong xiao 发送时间： 2020-07-14 17:33 收件人： user-zh 主题： Re: 退订 你好 我想问下，想加入flink dev邮件组应该怎么操作呢？ Leonard Xu 于2020年7月14日周二 下午5:00写道： > 你好， > > 退订来自user-zh 邮件组的邮件， 请发任意消息到 这个邮箱：user-zh

Re: 退订

Hi, 类似的，发送任意邮件到 dev-digest-subscr...@flink.apache.org 即可订阅来自dev @flink.apache.org 的邮件， 上面的链接【1】里也有订阅方式的。 祝好 > 在 2020年7月14日，17:33，zilong xiao 写道： > > 你好 我想问下，想加入flink dev邮件组应该怎么操作呢？ > >

Re: Re: Re: Re: 回复：Re: Re: Table options do not contain an option key 'connector' for discovering a connector.

hi,Zhou Zach : 问一下，你把你的程序，并行度设置成 1，还能正常读取hive的数据吗？ Zhou Zach 于2020年7月13日周一 下午8:17写道： > 好的，感谢答疑 > > > > > > > > > > > > > > > > > > 在 2020-07-13 19:49:10，"Jingsong Li" 写道： > >创建kafka_table需要在default dialect下。 > > > >不管什么dialect，都会保存到hive metastore中 (除非使用temporary table的语法) > > > >Best, > >Jingso

flink 1.11 自定义RichFlatMapFunction中使用JdbcRowDataOutputFormat 写pgsql数据问题，RuntimeContext初始化问题，空指针或RuntimeContext未初始化，哪里用的不对！

代码，编译没问题，但运行的时候，RichFlatMapFunction在open的时候，JdbcRowDataOutputFormat.open会core，说RuntimeContext为空，如果去掉outputFormatStatus.setRuntimeContext(this.getRuntimeContext())，又会提示没有初始化？ 麻烦大佬帮看看，什么问题啊，是我哪里用的不对吗？ at akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107) Caused

Re: 退订

你好 我想问下，想加入flink dev邮件组应该怎么操作呢？ Leonard Xu 于2020年7月14日周二 下午5:00写道： > 你好， > > 退订来自user-zh 邮件组的邮件， 请发任意消息到 这个邮箱：user-zh-unsubscr...@flink.apache.org > 即可退订 > > 退订其他邮件可以参考[1] > > 祝好 > > [1] https://flink.apache.org/community.html#mailing-lists < > https

?????? flink on yarn????????

Yarn?? 1. rm-address/ws/v1/cluster/apps/applicationId??amContainerLogurljm??url. 2. taskmanagerurlrm-address/proxy/applicationId/taskmanagers,taskmanageramContainerLogcontainername??ip?? ??

Re: 不能实时读取实时写入到 Hive 的数据

还可以在hive那边验证一下数据是否commit了，比如从hive CLI端执行一下show partitions，或者读一点数据 On Tue, Jul 14, 2020 at 5:20 PM Leonard Xu wrote: > > Hi, wanglei > > 这个参数 'sink.partition-commit.delay'='1 h’会在cp 完成后 + 你设置的1h delay后才会提交 hive > 的分区已完成信息(通过metastore或success文件). > > 你看下夏帅贴的邮件，检查下 checkpoint 和 partition-commit的设置

Re: 不能实时读取实时写入到 Hive 的数据

Hi, wanglei 这个参数 'sink.partition-commit.delay'='1 h’会在cp 完成后 + 你设置的1h delay后才会提交 hive 的分区已完成信息(通过metastore或success文件). 你看下夏帅贴的邮件，检查下 checkpoint 和 partition-commit的设置 祝好, Leonard Xu > 在 2020年7月14日，16:59，夏帅 写道： > > 你好, > 可以参考下这个问题的解决 > http://apache-flink.147419.n8.nabble.com/Table-options-

?????? Re: Re: flink on yarn????????

--  -- ??: "user-zh"

Re: Re: Re: flink on yarn日志问题

Flink在1.11开始默认使用log4j2, log4j2已经有了很多appender[1]可以用来将日志输出到外部系统或服务。 [1] https://logging.apache.org/log4j/2.x/manual/appenders.html Best, Yangze Guo On Tue, Jul 14, 2020 at 4:46 PM nicygan wrote: > > 是有这个毛病，看TM日志不方便。 > > 而且本地日志过几小时就会被清理，时间一久就看不到了，只剩JM日志。 > > > > > > > 在 2020-07-14 12:35:06，"zhishe

Re: 退订

你好， 退订来自user-zh 邮件组的邮件， 请发任意消息到 这个邮箱：user-zh-unsubscr...@flink.apache.org 即可退订 退订其他邮件可以参考[1] 祝好 [1] https://flink.apache.org/community.html#mailing-lists > 在 2020年7月14日，16:55，李国鹏 写道： > > 退

回复：回复: 不能实时读取实时写入到 Hive 的数据

你好, 可以参考下这个问题的解决 http://apache-flink.147419.n8.nabble.com/Table-options-do-not-contain-an-option-key-connector-for-discovering-a-connector-td4767.html -- 发件人：wangl...@geekplus.com.cn 发送时间：2020年7月14日(星期二) 16:50 收件人：user-zh ; 夏帅 ; Leo

退订

退订

Re: 回复: 不能实时读取实时写入到 Hive 的数据

应该是我没有理解 partitiion-commit 的意思，我看这里有文档：https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/filesystem.html#partition-commit CREATE TABLE kafka_ods_wms_pick_order ( order_no STRING, status INT, dispatch_time TIMESTAMP(3) ) WITH ( 'connector' = 'kafka', 'topic' =

Re:Re: Re: flink on yarn日志问题

是有这个毛病，看TM日志不方便。 而且本地日志过几小时就会被清理，时间一久就看不到了，只剩JM日志。 在 2020-07-14 12:35:06，"zhisheng" 写道： >知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看 > >Yangze Guo 于2020年7月14日周二 上午11:58写道： > >> Hi, 王松 >> >> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。 >> >> Best, >> Yangze Guo >> >> On T

Re:Re: Re: flink on yarn日志问题

运行的日志会越来越多 导致查看日志比较慢 大多采用elk这种方式 除了这个有没有比较好的方案推荐一下 在 2020-07-14 12:35:06，"zhisheng" 写道： >知道 YARN 的 applicationId，应该也可以去 HDFS 找对应的 taskmanager 的日志（可以拼出路径），然后复制到本地去查看 > >Yangze Guo 于2020年7月14日周二 上午11:58写道： > >> Hi, 王松 >> >> 我理解拼接url就可以了，不用实际去登陆机器然后进到对应目录。 >> >> Best, >> Yangze Guo >>

回复：Re: 不能实时读取实时写入到 Hive 的数据

你好, 这说明写入的hive文件没有进行rollup,可以贴下SQL么 -- 发件人：wangl...@geekplus.com.cn 发送时间：2020年7月14日(星期二) 16:40 收件人：user-zh ; xbjtdcq 主　题：回复: Re: 不能实时读取实时写入到 Hive 的数据 我加上了这个 tablehint 。 任务提交上去了，但客户端还是没有任何返回显示。 我到 hadoop 集群上看了下 hive 表所在的这个目录，所有的文

回复: Re: 不能实时读取实时写入到 Hive 的数据

我加上了这个 tablehint 。 任务提交上去了，但客户端还是没有任何返回显示。 我到 hadoop 集群上看了下 hive 表所在的这个目录，所有的文件都是 .part 开头的 inprogress 文件。 谢谢， 王磊 wangl...@geekplus.com.cn 发件人： Leonard Xu 发送时间： 2020-07-14 16:17 收件人： user-zh 主题： Re: 不能实时读取实时写入到 Hive 的数据 HI, wanglei 你开启了 streaming-source.enable 吗？这个参数用于指定如何读取是batch读，还是st

Re: 不能实时读取实时写入到 Hive 的数据

HI, wanglei 你开启了 streaming-source.enable 吗？这个参数用于指定如何读取是batch读，还是stream读，如果你要实时读的话应该把这个值设定为true, 可以使用tablehints 方便地指定参数。 SELECT * FROM hive_table /*+ OPTIONS('streaming-source.enable'='true', 'streaming-source.consume-start-offset'='2020-05-20') */; 就在你看得这个页面应该有对应的文档说明如何读取hive数据。 祝好， Leonard

答复: flink state

我这边有个类似的实现，需要根据维表数据改变stream的处理，自定义了一个source（从MySQL中定时刷维表数据），kafka的stream union这个维表数据流， 额外增加一个数据类型（维表类型或者事实数据）进行数据的处理，后续算子将这个维表进行不同的处理并存到对应算子的state中。 发件人: Congxian Qiu 日期: 星期二, 2020年7月14日 14:03 收件人: user-zh 主题: Re: flink state Hi Robert Boardcast state[1] 是否满足你的需求呢？另外也可以看下这篇文章[2] [1] https://c

不能实时读取实时写入到 Hive 的数据

试验了一下 Flink-1.11 hive streaming 的功能 https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/hive/hive_streaming.html 创建 kafka 表，通过 SQL 实时写入 Hive. 但我再通过 flink sql-client 客户端 select * from hive_table 客户端没有任何返回，通过 flink webUI 页面观察 这个 select * from hive_table 的 job 已经结束了。 谢谢， 王磊

Re: [flink-sql] 如何在sql运行时动态修改kafka的scan.startup.mode

可以尝试下1.11中引入的LIKE[1]或者是Table Hint[2] [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/create.html#create-table [2] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/hints.html Harold.Miao 于2020年7月14日周二 下午3:32写道： > hi all > > 现在有个需求，就是一段用sql-client提交的s

回复：滑动窗口数据存储多份问题

Hi！ 好的，非常感谢！ 很期待你接下来的回复。 | Best, Jimmy | Signature is customized by Netease Mail Master 在2020年07月13日 19:58，Congxian Qiu 写道： Hi 从 HeapListState#add 这里看是的，我跟了一个 WindowOperator 到最终 HeapListState 的逻辑，这里确实是只有一份数据，没有拷贝。这个东西的实现可能是因为性能好，我尝试确认下这个原因，多谢你的提问。 Best, Congxian Jimmy Zhang <13669299...@163

Flink1.10 flinksql 多表join状态ttl不成功的问题

我用flink sql 设置了 空闲状态的清理时间，但是 状态还是一直增加，里面有 多次 group by 和多次 流表的关联 。 代码如下： tEnv.getConfig() .setIdleStateRetentionTime(Time.hours(minIdleStateRetentionTime), Time.hours(maxIdleS

[flink-sql] 如何在sql运行时动态修改kafka的scan.startup.mode

hi all 现在有个需求，就是一段用sql-client提交的sql任务需要动态修改kafka的scan.startup.mode，以支持不同的消费需求。请问有什么好的办法吗？ 谢谢 -- Best Regards, Harold Miao