Re: flink sql添加 null值 字段

2020-10-14 文章 Leonard Xu
Hi 你需要指定下数据类型,可以用: cast(null as varchar) as person_uuid Best Leonard > 在 2020年10月15日,12:18,Dream-底限 写道: > > hi、 > 我现在使用flink sql完成如下sql语句,但是程序无法运行,请问这个功能要怎么实现: > select null as person_uuid from tablename > 抛出异常: > org.apache.flink.client.program.ProgramInvocationException: The main method >

flink sql添加 null值 字段

2020-10-14 文章 Dream-底限
hi、 我现在使用flink sql完成如下sql语句,但是程序无法运行,请问这个功能要怎么实现: select null as person_uuid from tablename 抛出异常: org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: SQL validation failed. From line 1, column 47 to line 1, column 50: Illegal use of 'NULL' at

pyflink sql中select,where都带udf,其中一个udf失效

2020-10-14 文章 whh_960101
您好,我使用pyflink时的代码如下,有如下问题: source = st_env.from_path('source') #st_env是StreamTableEnvironment,source是kafka源端 #只在where语句中加udf1 (input_types =DataTypes.STRING(), result_type = DataTypes.BOOLEAN()) table =

Re: Flink Kerberos认证问题

2020-10-14 文章 naisili Yuan
可以通过提交flink任务的客户端配置文件实现认证,具体配置可参考: https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#auth-with-external-systems caozhen 于2020年10月12日周一 下午6:05写道: > "认证的kafka是BBB.keytab" 这个是怎么设置的呢?是自己实现的kafkaSink嘛? > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ >

Re: Re:Re: Flink 1.10.1 checkpoint失败问题

2020-10-14 文章 Storm☀️
非常感谢。 后续我关注下这个问题,有结论反馈给大家,供参考。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flinksql如何控制结果输出的频率

2020-10-14 文章 Benchao Li
可以具体描述下你的问题么,没太看懂你的问题。 smallwong 于2020年10月14日周三 下午6:57写道: > 哈喽,请问是做了什么调整?才10秒的窗口,期待每秒都输出结果的 > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ -- Best, Benchao Li

Re: flinksql如何控制结果输出的频率

2020-10-14 文章 smallwong
哈喽,请问是做了什么调整?才10秒的窗口,期待每秒都输出结果的 -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复:flink1.11连接mysql问题

2020-10-14 文章 superainbower
HI 链接超时的问题,你后来解决了吗?能告诉下怎么解决的吗? | | superainbower | | superainbo...@163.com | 签名由网易邮箱大师定制 在2020年08月31日 15:57,酷酷的浑蛋 写道: 关键是在sql中怎么设置,connector=jdbc 在2020年08月31日 15:06,13580506953<13580506...@163.com> 写道: 这个问题本质是连接活性问题, 连接数据库超时设置autoReconnect=true(mysql5以上的,设置autoReconnect=true 是无效的

flinksql引入flink-parquet_2.11任务提交失败

2020-10-14 文章 奔跑的小飞袁
hello, 我现在使用flinksql的方式读取kafka数据并且以parquet的格式写出到hdfs,当我引入flink-parquet的依赖时程序提交失败了,但是我以内置的avro、json等格式输出是正常的,下面是我的报错信息 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to create a source for reading table

kafka table connector保留多久的数据

2020-10-14 文章 marble.zh...@coinflex.com.INVALID
你好, 用kafka table connector接过来的数据,在flink这边会保留多久,在参数列表里没有看到有这个设置,如果保留太久,内存会撑暴,比如我只想保留半个小时,之前的数据可以清除。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

pyflink sql select带特殊符号的字段名

2020-10-14 文章 whh_960101
您好,我使用pyflink时的代码如下,有如下问题: source = st_env.from_path('source') #st_env是StreamTableEnvironment,source是kafka源端 table = source.select("@timestamp").execute_insert('sink').get_job_client().get_job_execution_result().result()

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

2020-10-14 文章 cxydeve...@163.com
嗯嗯,看到了,才发现还有这个地方可以看 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

2020-10-14 文章 cxydeve...@163.com
好的,谢谢 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 回复: 回复: flink-SQL1.11版本对map类型中value的空指针异常

2020-10-14 文章 奔跑的小飞袁
我之前对源码进行了修复,测试的时候没有恢复之前的源码状态,后来发现Map这种方式是不可以的 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink点查时态表支持子查询

2020-10-14 文章 Dream-底限
hi、 我想到是一个实现方案是在flink端ddl建立lookup表的时候,一张flink表对应上面说的那个外部子查询虚拟表,相当于flink建了一个视图吧 Dream-底限 于2020年10月14日周三 下午2:23写道: > hi、 > > 》》你说的点查sql子表可以节省开销,不是很理解,是指同一个key关联多张维表,然后查询外部系统时一个key带出多个表的数据吗?这个应该和目前flink的实现机制不太一致。 > 是的,可以理解为用一个key查询一个视图,这个视图来自于多表关联;在不做视图的情况下,直接点查外部系统的子查询,在flink端依然是原查询样式 > 依然是:JOIN

Re: flink点查时态表支持子查询

2020-10-14 文章 Dream-底限
hi、 》》你说的点查sql子表可以节省开销,不是很理解,是指同一个key关联多张维表,然后查询外部系统时一个key带出多个表的数据吗?这个应该和目前flink的实现机制不太一致。 是的,可以理解为用一个key查询一个视图,这个视图来自于多表关联;在不做视图的情况下,直接点查外部系统的子查询,在flink端依然是原查询样式 依然是: JOIN table2 FOR SYSTEM_TIME AS OF table1.proctime,只不过table2不再是一个物理实表,如:table2=(select col from table) Leonard Xu 于2020年10月13日周二

Re: flink 1.11.2 Table sql聚合后设置并行度为2及以上,数据无法输出

2020-10-14 文章 Peihui He
试了下一种解决方案,如下,可以调整sql并行度。 val table1: Table = stenv.sqlQuery("select * from test") val schema = table1.getSchema val table2 = stenv.fromDataStream(table1.toAppendStream[Row].map(item => Row.of(item.getField(0), item.getField(1)))(new RowTypeInfo(schema.getFieldTypes.toList.take(2).toArray,

Re: flink1.11.2webui界面中的任务详情页面获取不到任务的received和sent数据详情

2020-10-14 文章 zhisheng
想获取到的话其实可以通过 REST API 去如下图的 metrics 处获取作业 source 往下 send 的数据量和速度,不过这个是单个并行度的,可以去将每个并行度的累加起来。 http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-060508.png [image: image.png] Best zhisheng Kevin Liu 于2020年10月14日周三 上午12:35写道: > 可以参考