Re: flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

2020-11-14 文章 Jark Wu
个问题 > flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 > create table kafka_table ( > `log_id`  string, > event_date timestamp(3), > process_time as PROCTIME(), > ts as event_date, > watermark for ts as ts - interval '1' second > ) with ( >  'co

flink1.11 sql ddl 连接kafka读取数据，使用事件时间窗口，无法触发，相同的sql使用系统时间触发没有问题

2020-11-14 文章 李世钰
您好，请教您一个问题 flink1.11 sql ddl连接kafka,使用事件事件，无法触发窗口，使用process_time系统时间就可以正常触发 create table kafka_table ( `log_id`  string, event_date timestamp(3), process_time as PROCTIME(), ts as event_date, watermark for ts as ts - interval '1' second ) with (  'connector' = 'kafka&

回复： flink1.11 sql问题

2020-08-26 文章 酷酷的浑蛋
好吧，谢谢 在2020年08月25日 18:40，Benchao Li 写道： Hi, 这个功能已经在1.12支持了[1]，如果着急使用，可以cherry-pick回去试试看。 用法就是直接把这个字段声明为varchar，json format会帮你自动处理 [1] https://issues.apache.org/jira/browse/FLINK-18002 酷酷的浑蛋 于2020年8月25日周二 下午6:32写道： 还没到udf那一步，直接用create table的方式，过来的数据就是获取不到值的， CREATE TABLE test ( a VARCHAR,

回复：flink1.11 sql问题

2020-08-25 文章 kcz
这个功能非常好的，因为第三方数据总是搞事情，动不动就加字段，改名字的。 -- 原始邮件 -- 发件人: Benchao Li https://issues.apache.org/jira/browse/FLINK-18002 酷酷的浑蛋

Re: flink1.11 sql问题

2020-08-25 文章 Benchao Li
Hi, 这个功能已经在1.12支持了[1]，如果着急使用，可以cherry-pick回去试试看。 用法就是直接把这个字段声明为varchar，json format会帮你自动处理 [1] https://issues.apache.org/jira/browse/FLINK-18002 酷酷的浑蛋 于2020年8月25日周二 下午6:32写道： > > > 还没到udf那一步，直接用create table的方式，过来的数据就是获取不到值的， > CREATE TABLE test ( > a VARCHAR, > b INT > ) WITH ( > '

回复： flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
还没到udf那一步，直接用create table的方式，过来的数据就是获取不到值的， CREATE TABLE test ( a VARCHAR, b INT ) WITH ( 'connector' = 'kafka', 'topic' = 'test', 'properties.bootstrap.servers' = 'xxx', 'properties.group.id' = 'groupid', 'scan.startup.mode' = 'group-offsets', 'format'='json'

回复： flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
CREATE TABLE test ( a VARCHAR, b INT ) WITH ( 'connector'='kafka', 'topic'='test', 'properties.bootstrap.servers'='xxx', 'properties.group.id'='groupid', 'scan.startup.mode'='group-offsets', 'format'='json' ); 我说的是在source阶段，读过来的数据，如果某个key的值是嵌套json或者json数组，那么，for

Re: flink1.11 sql问题

2020-08-25 文章 zilong xiao
直接CAST不可以吗？ 酷酷的浑蛋 于2020年8月25日周二 下午3:46写道： > 关键是那个值不是固定的，有时候是json，有时候是json数组，没办法固定写一个，现在我只想把value当做字符串获取到，难道没有办法吗 > > > > > 在2020年08月25日 15:34，taochanglian 写道： > flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 > > 在 2020/8/25 14:59, 酷酷的浑蛋 写道: > 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ > >

Re: flink1.11 sql问题

2020-08-25 文章 Jim Chen
这个需要你自定义UDF 酷酷的浑蛋 于2020年8月25日周二 下午3:46写道： > 关键是那个值不是固定的，有时候是json，有时候是json数组，没办法固定写一个，现在我只想把value当做字符串获取到，难道没有办法吗 > > > > > 在2020年08月25日 15:34，taochanglian 写道： > flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 > > 在 2020/8/25 14:59, 酷酷的浑蛋 写道: > 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ > >

回复： flink1.11 sql问题

2020-08-25 文章 酷酷的浑蛋
关键是那个值不是固定的，有时候是json，有时候是json数组，没办法固定写一个，现在我只想把value当做字符串获取到，难道没有办法吗 在2020年08月25日 15:34，taochanglian 写道： flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 在 2020/8/25 14:59, 酷酷的浑蛋 写道: 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷

Re: 回复：flink1.11 sql问题

2020-08-25 文章 taochanglian
flinksql，处理json ，对象的话用row，数组的话用array获取具体的值。 在 2020/8/25 14:59, 酷酷的浑蛋 写道: 还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

回复：flink1.11 sql问题

2020-08-24 文章 酷酷的浑蛋
还是这个问题，如果字段的值有时候是json有时候是json数组，那么我只想把它当做字符串显示，该怎么写？ 在2020年08月25日 14:05，酷酷的浑蛋 写道： 我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

回复：flink1.11 sql问题

2020-08-24 文章 酷酷的浑蛋
我知道了 在2020年08月25日 13:58，酷酷的浑蛋 写道： flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

flink1.11 sql问题

2020-08-24 文章 酷酷的浑蛋
flink1.11 读取json数据时format=“json”，当数据中某个字段的值是[{"a1":{"a2":"v2"}}]类似这种嵌套，flink取到的值就是空，这个怎么处理？

Re: flink1.11 sql api使用per job模式提交后，客户端退出

2020-08-24 文章 godfrey he
().getContextClassLoader()).get(); lijufeng2016 <920347...@qq.com> 于2020年8月25日周二 上午9:34写道： > flink1.11 sql api使用per > job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 sql api使用per job模式提交后，客户端退出

2020-08-24 文章 lijufeng2016
flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 sql api使用per job模式提交后，客户端退出

2020-08-24 文章 lijufeng2016
flink1.11 sql api使用per job模式提交后，客户端退出，程序在yarn正常运行，客户端与yarn断开连接，与有没有办法不让客户端断开？ -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11 sql使用问题

2020-08-11 文章 魏烽
您好： 我使用的场景是连接postgreps catalog，直接对postgrep的表进行操作，但是只能有最简单的count操作，其它sql操作都无法实现，感谢！ 原始邮件 发件人: Shengkai Fang 收件人: user-zh 发送时间: 2020年8月11日(周二) 22:54 主题: Re: flink1.11 sql使用问题 能展示下完整的例子吗？ 我用的时候没有这种情况。 魏烽 mailto:weif...@nequal.com>>于2020年8月11日 周二下午10:27写道： > 各位大佬好： > > 在使用fl

Re: flink1.11 sql使用问题

2020-08-11 文章 Shengkai Fang
能展示下完整的例子吗？ 我用的时候没有这种情况。 魏烽 于2020年8月11日 周二下午10:27写道： > 各位大佬好： > > 在使用flink1.11 sql客户端的时候，只能只用最基本的count，group by、order > by、join等都无法实现，请问这个是什么原因呢，感谢！ > > > Flink SQL> select count(t2.superid) from cdp_profile_union t1 inner join > cdp_crowd_10002 t2 on t1.superid=t2.sup

flink1.11 sql使用问题

2020-08-11 文章 魏烽
各位大佬好： 在使用flink1.11 sql客户端的时候，只能只用最基本的count，group by、order by、join等都无法实现，请问这个是什么原因呢，感谢！ Flink SQL> select count(t2.superid) from cdp_profile_union t1 inner join cdp_crowd_10002 t2 on t1.superid=t2.superid; [ERROR] Could not execute SQL statement. Rea

回复: flink1.11 sql 发布到yarn session时找不到hbase相关的类

2020-07-29 文章 wind.fly....@outlook.com
Hi，Xintong： 是把相关的jar配到hadoop_classpath然后再export吗？ Best, Junbao Zhang 发件人: Xintong Song 发送时间: 2020年7月30日 10:28 收件人: user-zh 主题: Re: flink1.11 sql 发布到yarn session时找不到hbase相关的类 export HADOOP_CLASSPATH 就可以了 Thank you~ Xintong Song On Wed, Jul 29, 2020 at 6:43

Re: flink1.11 sql 发布到yarn session时找不到hbase相关的类

2020-07-29 文章 Xintong Song
export HADOOP_CLASSPATH 就可以了 Thank you~ Xintong Song On Wed, Jul 29, 2020 at 6:43 PM wind.fly@outlook.com < wind.fly@outlook.com> wrote: > Hi,all： > 最近在升级flink1.11，sql中用到hbase connctor，发布到yarn-session时，报如下异常： > 2020-07-29 11:49:55 > org.apache.hadoop.hbase.DoN

flink1.11 sql 发布到yarn session时找不到hbase相关的类

2020-07-29 文章 wind.fly....@outlook.com
Hi,all： 最近在升级flink1.11，sql中用到hbase connctor，发布到yarn-session时，报如下异常： 2020-07-29 11:49:55 org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.util.ByteStringer at

Re: flink1.11 sql

2020-07-22 文章 Rui Li
支持的，也是需要配合HiveCatalog一起使用，你在hive那边创建的函数在flink里就能调用了 On Wed, Jul 22, 2020 at 12:14 PM Dream-底限 wrote: > hi > flink支持配置hive方言，那么flink可以直接使用hive内自定义的udf、udtf函数吗 > -- Best regards! Rui Li

Re: flink1.11 sql

2020-07-21 文章 Leonard Xu
Hi 必须可以呢，参考[1] Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/hive/hive_functions.html > 在 2020年7月22日，12:14，Dream-底限 写道： > > hi > flink支持配置h

flink1.11 sql

2020-07-21 文章 Dream-底限
hi flink支持配置hive方言，那么flink可以直接使用hive内自定义的udf、udtf函数吗

Re: flink1.11 sql kafka 抽取事件时间

2020-07-15 文章 Benchao Li
我感觉可以通过计算列的方式来解决呀，你只需要在计算rowtime这个列的时候保证它不是null即可，如果是null，可以设置一个默认值之类的？ 18500348...@163.com <18500348...@163.com> 于2020年7月15日周三 下午3:04写道： > 大家好！ > > 使用flink1.11 sql接入kafka ，format为csv > 从eventTime字段中抽取事件时间 > rowtime AS TO_TIMESTAMP(FROM_UNIXTIME(eventTime / 1000, &

flink1.11 sql kafka 抽取事件时间

2020-07-15 文章 18500348...@163.com
大家好！ 使用flink1.11 sql接入kafka ，format为csv 从eventTime字段中抽取事件时间 rowtime AS TO_TIMESTAMP(FROM_UNIXTIME(eventTime / 1000, '-MM-dd HH:mm:ss')) eventTime可能存在脏数据（非13位的毫秒时间戳），设置了 'csv.ignore-parse-errors' = 'true', 那么eventTime会被设置为null，此时会报一个异常： Caused by: java.lang.R