-MySQL-Catalog/
Best,
Terry Wang
> 2021年7月8日 上午10:42,Roc Marshal 写道:
>
> Hi,
> 请问目前的 Flink SQL 在创建source表的时候支持自动拉取所有的表列信息并解析吗?
>
>
> 谢谢。
>
>
> Best, Roc.
语句看起来是没有问题的,可以检查下数据是否能关联上
Best,
Terry Wang
> 2021年7月6日 下午3:24,赵旭晨 写道:
>
> 流表:
> CREATE TABLE flink_doris_source (
> reporttime STRING,
> tenantcode STRING,
> visitid STRING,
> orderid STRING,
> orderdetailid STRING,
> paymentde
Hi
附件没有上传成功, btw 请同时提供下使用的flink版本~
Best,
Terry Wang
> 2021年7月5日 下午7:58,852701714 <852701...@qq.com.INVALID> 写道:
>
> 你好,我在本地搭建IDEA的FLINKCEP环境。
> 用官方的一些DEMO搭建后,发现执行CEP的逻辑后编译是成功的,但是没有结果输出。
> 例如附件中的demo类,执行CEP逻辑后的loginFailDataStream没有输出。
> debug发现也没有进入pattern的方法中。
>
ink/flink-docs-release-1.12/dev/batch/dataset_transformations.html#join-algorithm-hints>
Thx~
Best,
Terry Wang
> 2021年7月3日 下午8:32,Eric Yang 写道:
>
> Hello Terry
>您好,很高兴您能回复我,我这边使用的是flink 1.12版本,使用的是flink 的 dataset api
> 的三个数据集进行join,类似于 a join b join c,join的时候没有指定Jo
Hi Eric~
图片打不开,能否提供下具体使用的flink版本,使用方式和报错的异常栈~
Best,
Terry Wang
> 2021年7月2日 下午4:02,Eric Yang 写道:
>
>
> hello,
> 您好,打扰到大家了,我使用的是flink的dataset的API,多个数据集进行join,比如,a join b join
> c,最终运行报错了,报错如下:
> 我是需要在join的时候指定JoinHint策略么,求助,真的很感谢!
>
>
Hi, 光跃~
left join的语义下,case3_TOPIC_A有数据就会往外输出的,能否给一点更多的信息来帮助排查问题~
Best,
Terry Wang
> 2021年7月2日 下午3:14,杨光跃 写道:
>
> select a.card as card,a.cust as cust, b.city as city ,cast(a.ts as TIMESTAMP)
> ts,c.city
> from case3_TOPIC_A a
> left join cust_data FOR SYSTEM_TI
Hi,
flink-hbase_2.11-1.9.0.jar 只包括了flink对hbase读写的封装的类,并没有提供hbase client的类,你需要把hbaes
client等相关的jar包提供出来放到 lib包里面。
Best,
Terry Wang
> 2020年1月2日 16:54,lucas.wu 写道:
>
> Hi 大家好
> 有个问题要问问大家,我现在用flink1.9版本创建hbase表
> sql:
> create table hbase_dimention_table(
> id va
Hi ~
这个问题在最新的代码上已经修复了,在flink 1.9 上应该也是不存在这个问题的,你可以用下看看~
Best,
Terry Wang
> 2019年12月31日 14:18,
> 写道:
>
> 大家好
>
> 我们这里有通过-yd动态的提交Kerberos认证参数的需求,
>
> 想问下这个jira为啥被标记为了won’t fix,谢谢
>
> https://issues.apache.org/jira/browse/FLINK-12130
>
你这种需求的一种解决思路,可以把
JSONObject类型定义成object类型,然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。
Best,
Terry Wang
> 2019年12月27日 19:56,aven.wu 写道:
>
> StreamTableEnvironment.registerDatastream(),目前只支持pojo 或者
> 是public属性的对象,根据默认字段或者用户指定的字段注册table,但某些场景下没有固定的格式,比如使用JSONObject类型DataStream
Hi, 李军~
1. 自建集群是哪种方式? 可以考虑通过yarn集群的per job模式来部署作业,集群的监控可以直接通过yarn的资源管理实现
2. 任务需要更新的时候 可以kill job,保留state 文件,重新提交新的jar包,新的jar包可以设置从老作业的checkPoint文件里恢复继续执行
相关资料可以参考 官方文档/flink china 的资料,希望能有所帮助~
Best,
Terry Wang
> 2019年11月11日 13:38,李军 写道:
>
>
>
>
>
> 想咨询下,自建flink集
问题1:
default关键词报错是否试过 hive.`default`.xx_udf 方式, 这样转义应该能解决关键词报错的问题。
问题2:
flink 1.10 中会支持modular plugin的方式,使用起来会更方便
Best,
Terry Wang
> 在 2019年9月25日,下午7:21,like 写道:
>
> 各位大佬好:
>目前我在使用1.9版本中hive的udf碰到如下问题:
>1、hive的udf都是注册在default库中,sql里面带有defa
会不会是你数据量比较大,然后heapMemory配置的相对较小导致的,是否尝试过调大内存和并发观察是否还有OOM?
Best,
Terry Wang
> 在 2019年9月26日,上午9:25,claylin <1012539...@qq.com> 写道:
>
> 写了个去重的任务,代码如下:
>
> StreamQueryConfig queryConfig = tabEnv.queryConfig();
>queryConfig.withIdleStateRetentionTime(Time.seco
能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题
Best,
Terry Wang
> 在 2019年9月23日,下午5:11,ShuQi 写道:
>
> Flink版本为1.9.0,基于OrcTableSource进行ORC文件的读取,碰到一个问题,程序没有任何异常,顺利执行完毕,但又部分字段读出来始终为null,但实际是有值得,通过直接读取文件的方式可以读取到全部字段。
>
>
> 请问大家是否有什么好的建议,谢谢!
>
你好,可以考虑在open方法里启动一个定时的线程去取mysql里去数据和进行缓存更新。
当有新数据流入到你的系统中时,可以判断定时线程数据加载是否完成,当数据加载完成后再进行数据处理。
希望能有帮助~
Best,
Terry Wang
> 在 2019年9月24日,上午10:45,haoxin...@163.com 写道:
>
> 大家好,初学flink,版本1.8.1。想请教一个思路问题:在物联网系统中会实时处理一些设备上来的状态数据,但是设备元数据信息或者基础数据会存储在类似MySQL数据库中,当实时流数据上来的时候需要这些基础数据进行计算。但是因为性能问题
有可能是并行度设置大时,source的部分并发没有数据,导致eventTime未更新。可以排查下是否是这个问题
> 在 2019年5月15日,下午2:18,13341000780 <13341000...@163.com> 写道:
>
> hi, 各位大牛好!
> 自定义了窗口触发器trigger,在onElement函数中注册了EventTimeTimer。出现了很离奇的问题,当并行度Parallelism
>
15 matches
Mail list logo