Hi
你需要指定下数据类型,可以用: cast(null as varchar) as person_uuid
Best
Leonard
> 在 2020年10月15日,12:18,Dream-底限 写道:
>
> hi、
> 我现在使用flink sql完成如下sql语句,但是程序无法运行,请问这个功能要怎么实现:
> select null as person_uuid from tablename
> 抛出异常:
> org.apache.flink.client.program.ProgramInvocationException: The main method
>
hi、
我现在使用flink sql完成如下sql语句,但是程序无法运行,请问这个功能要怎么实现:
select null as person_uuid from tablename
抛出异常:
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: SQL validation failed. From line 1, column 47 to line 1,
column 50: Illegal use of 'NULL'
at
您好,我使用pyflink时的代码如下,有如下问题:
source = st_env.from_path('source')
#st_env是StreamTableEnvironment,source是kafka源端
#只在where语句中加udf1 (input_types =DataTypes.STRING(), result_type =
DataTypes.BOOLEAN())
table =
可以通过提交flink任务的客户端配置文件实现认证,具体配置可参考:
https://ci.apache.org/projects/flink/flink-docs-stable/ops/config.html#auth-with-external-systems
caozhen 于2020年10月12日周一 下午6:05写道:
> "认证的kafka是BBB.keytab" 这个是怎么设置的呢?是自己实现的kafkaSink嘛?
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
非常感谢。
后续我关注下这个问题,有结论反馈给大家,供参考。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
可以具体描述下你的问题么,没太看懂你的问题。
smallwong 于2020年10月14日周三 下午6:57写道:
> 哈喽,请问是做了什么调整?才10秒的窗口,期待每秒都输出结果的
>
>
>
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
--
Best,
Benchao Li
哈喽,请问是做了什么调整?才10秒的窗口,期待每秒都输出结果的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
HI
链接超时的问题,你后来解决了吗?能告诉下怎么解决的吗?
| |
superainbower
|
|
superainbo...@163.com
|
签名由网易邮箱大师定制
在2020年08月31日 15:57,酷酷的浑蛋 写道:
关键是在sql中怎么设置,connector=jdbc
在2020年08月31日 15:06,13580506953<13580506...@163.com> 写道:
这个问题本质是连接活性问题,
连接数据库超时设置autoReconnect=true(mysql5以上的,设置autoReconnect=true 是无效的
hello,
我现在使用flinksql的方式读取kafka数据并且以parquet的格式写出到hdfs,当我引入flink-parquet的依赖时程序提交失败了,但是我以内置的avro、json等格式输出是正常的,下面是我的报错信息
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Unable to create a source for reading table
你好, 用kafka table
connector接过来的数据,在flink这边会保留多久,在参数列表里没有看到有这个设置,如果保留太久,内存会撑暴,比如我只想保留半个小时,之前的数据可以清除。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
您好,我使用pyflink时的代码如下,有如下问题:
source = st_env.from_path('source')
#st_env是StreamTableEnvironment,source是kafka源端
table =
source.select("@timestamp").execute_insert('sink').get_job_client().get_job_execution_result().result()
嗯嗯,看到了,才发现还有这个地方可以看
--
Sent from: http://apache-flink.147419.n8.nabble.com/
好的,谢谢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我之前对源码进行了修复,测试的时候没有恢复之前的源码状态,后来发现Map这种方式是不可以的
--
Sent from: http://apache-flink.147419.n8.nabble.com/
hi、
我想到是一个实现方案是在flink端ddl建立lookup表的时候,一张flink表对应上面说的那个外部子查询虚拟表,相当于flink建了一个视图吧
Dream-底限 于2020年10月14日周三 下午2:23写道:
> hi、
>
> 》》你说的点查sql子表可以节省开销,不是很理解,是指同一个key关联多张维表,然后查询外部系统时一个key带出多个表的数据吗?这个应该和目前flink的实现机制不太一致。
> 是的,可以理解为用一个key查询一个视图,这个视图来自于多表关联;在不做视图的情况下,直接点查外部系统的子查询,在flink端依然是原查询样式
> 依然是:JOIN
hi、
》》你说的点查sql子表可以节省开销,不是很理解,是指同一个key关联多张维表,然后查询外部系统时一个key带出多个表的数据吗?这个应该和目前flink的实现机制不太一致。
是的,可以理解为用一个key查询一个视图,这个视图来自于多表关联;在不做视图的情况下,直接点查外部系统的子查询,在flink端依然是原查询样式 依然是:
JOIN table2 FOR SYSTEM_TIME AS OF
table1.proctime,只不过table2不再是一个物理实表,如:table2=(select
col from table)
Leonard Xu 于2020年10月13日周二
试了下一种解决方案,如下,可以调整sql并行度。
val table1: Table = stenv.sqlQuery("select * from test")
val schema = table1.getSchema
val table2 = stenv.fromDataStream(table1.toAppendStream[Row].map(item
=> Row.of(item.getField(0), item.getField(1)))(new
RowTypeInfo(schema.getFieldTypes.toList.take(2).toArray,
想获取到的话其实可以通过 REST API 去如下图的 metrics 处获取作业 source 往下 send
的数据量和速度,不过这个是单个并行度的,可以去将每个并行度的累加起来。
http://zhisheng-blog.oss-cn-hangzhou.aliyuncs.com/2020-10-14-060508.png
[image: image.png]
Best
zhisheng
Kevin Liu 于2020年10月14日周三 上午12:35写道:
> 可以参考
18 matches
Mail list logo