Re: 关于 flinksql 维表的问题

2021-05-30 Thread chenchencc 
mysql cdc connectot可以实现



--
Sent from: http://apache-flink.147419.n8.nabble.com/

求教：动态字段的处理

2021-05-30 Thread 信华哺 
现状：
目前实时数仓的存储和对外数据服务使用hbase，列是不固定的。
举个例子，如果用户新增了一个指标并生成了数据，来源系统的数据总线(kafka)会把生成的数据发送过来（没有声明是新的指标）， 
hbase中需要增加一个指标名称的列并保存和更新相应数据。(实际场景比这个复杂一些)

之前是用python脚本（数据平台完全是python开发的）实现的，实现很简单，但是性能上有一些瓶颈。现在想切换到pyflink，不知道有没有好的方式。

python脚本优化过后（消费kafka->逻辑加工->写入hbase）大概3000条/秒，能勉强满足现有数据的峰值处理。但是数据一直在增长，可见的未来性能一定跟不上了。
请问有没有处理过类似问题的专家方便解答一下？


| |
信华哺
|
|
laoxin...@163.com
|
签名由网易邮箱大师定制

Re: flink1.13 通过sql cli执行hdfs上面的SQL文件

2021-05-30 Thread JasonLee 
hi

目前还不支持HDFS路径,只支持本地的文件,未来应该会支持.



-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flink1.13 通过sql cli执行hdfs上面的SQL文件

2021-05-30 Thread Leonard Xu 
> 
> 目前还不支持HDFS路径,只支持本地的文件,未来应该会支持.


是的， 目前还不支持，只支持本地文件，这个异常信息不是很明确


https://issues.apache.org/jira/browse/FLINK-22795 


祝好，
Leonard

> 
> 
> 
> -
> Best Wishes
> JasonLee
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/

Re: 流与流 left join

2021-05-30 Thread Shuo Cheng 
state ttl 只能是全局算子维度, table.exec.state.ttl



--
Sent from: http://apache-flink.147419.n8.nabble.com/

(无主题)

2021-05-30 Thread 陈海剑 
退订


| |
陈海剑
|
|
邮箱：13469958...@163.com
best regards
|

签名由 网易邮箱大师 定制

(无主题)

2021-05-30 Thread Hongyuan Ma 
退订

flink job exception

2021-05-30 Thread krislee 

各位好：


我是flink的初学者。 今天在flink web UI 和后台的job 管理页面 发现很多 
exception:


..

11:29:30.107 [flink-akka.actor.default-dispatcher-41] ERROR 
org.apache.flink.runtime.rest.handler.job.JobExceptionsHandler - 
Exception occurred in REST handler: Job 16c614ab0d6f5b28746c66f351fb67f8 
not found


..

此时，登录flink web UI,  在"completed jobs"页面 
找不到任何job的历史信息，但是当初提交job的时候 是能看到这些job 信息的。



环境信息:

flink: 1.12.4 for windows

启动flink和执行flink 作业使用的是 1.9.3版本的start-cluster.bat, flink.bat



我的疑问是：flink 是否有定期清理历史job的功能？

    如果有，在哪里(通过命令行或者配置文件)可以配置相关的参数 ?

    如果没有，这些错误信息是否正常 ？怎样解决这个问题 ？


Thanks,

Gang

??????flink job exception

2021-05-30 Thread day 
 history server??

https://ci.apache.org/projects/flink/flink-docs-master/zh/docs/deployment/advanced/historyserver/




--  --
??: 
   "user-zh"

Re: 求教：动态字段的处理

2021-05-30 Thread Zorro 
由于你的DDL是变化的，无法提前预知所有字段，所以首先可以确定的是这个场景无法使用Flink SQL解决。

如果使用DataStream解决的话是可行的，唯一可能存在的问题就是目前社区没有提供DataStream的HBase sink。
如果你需要在DataStream中使用HBase sink的话，可能需要你自定义一个HBase sink或者基于社区的HBase SQL
connector做一些更改。不过这些更改是需要在Java代码层面的。

至于其他的处理逻辑可以用pyFlink很方便的改写。



--
Sent from: http://apache-flink.147419.n8.nabble.com/