Re: Flink SQL MYSQL schema 特性问题

2021-07-07 文章 Terry Wang
-MySQL-Catalog/ Best, Terry Wang > 2021年7月8日 上午10:42,Roc Marshal 写道: > > Hi, > 请问目前的 Flink SQL 在创建source表的时候支持自动拉取所有的表列信息并解析吗? > > > 谢谢。 > > > Best, Roc.

Re: flinksql 流维join 问题

2021-07-06 文章 Terry Wang
语句看起来是没有问题的,可以检查下数据是否能关联上 Best, Terry Wang > 2021年7月6日 下午3:24,赵旭晨 写道: > > 流表: > CREATE TABLE flink_doris_source ( > reporttime STRING, > tenantcode STRING, > visitid STRING, > orderid STRING, > orderdetailid STRING, > paymentde

Re: 咨询

2021-07-05 文章 Terry Wang
Hi 附件没有上传成功, btw 请同时提供下使用的flink版本~ Best, Terry Wang > 2021年7月5日 下午7:58,852701714 <852701...@qq.com.INVALID> 写道: > > 你好,我在本地搭建IDEA的FLINKCEP环境。 > 用官方的一些DEMO搭建后,发现执行CEP的逻辑后编译是成功的,但是没有结果输出。 > 例如附件中的demo类,执行CEP逻辑后的loginFailDataStream没有输出。 > debug发现也没有进入pattern的方法中。 >

Re: flink dataset api join报错

2021-07-04 文章 Terry Wang
ink/flink-docs-release-1.12/dev/batch/dataset_transformations.html#join-algorithm-hints> Thx~ Best, Terry Wang > 2021年7月3日 下午8:32,Eric Yang 写道: > > Hello Terry >您好,很高兴您能回复我,我这边使用的是flink 1.12版本,使用的是flink 的 dataset api > 的三个数据集进行join,类似于 a join b join c,join的时候没有指定Jo

Re: flink dataset api join报错

2021-07-03 文章 Terry Wang
Hi Eric~ 图片打不开,能否提供下具体使用的flink版本,使用方式和报错的异常栈~ Best, Terry Wang > 2021年7月2日 下午4:02,Eric Yang 写道: > > > hello, > 您好,打扰到大家了,我使用的是flink的dataset的API,多个数据集进行join,比如,a join b join > c,最终运行报错了,报错如下: > 我是需要在join的时候指定JoinHint策略么,求助,真的很感谢! > >

Re: flink 版本视图不触发水印导致流阻塞的问题

2021-07-03 文章 Terry Wang
Hi, 光跃~ left join的语义下,case3_TOPIC_A有数据就会往外输出的,能否给一点更多的信息来帮助排查问题~ Best, Terry Wang > 2021年7月2日 下午3:14,杨光跃 写道: > > select a.card as card,a.cust as cust, b.city as city ,cast(a.ts as TIMESTAMP) > ts,c.city > from case3_TOPIC_A a > left join cust_data FOR SYSTEM_TI

Re: flink 创建hbase出错

2020-01-02 文章 Terry Wang
Hi, flink-hbase_2.11-1.9.0.jar 只包括了flink对hbase读写的封装的类,并没有提供hbase client的类,你需要把hbaes client等相关的jar包提供出来放到 lib包里面。 Best, Terry Wang > 2020年1月2日 16:54,lucas.wu 写道: > > Hi 大家好 > 有个问题要问问大家,我现在用flink1.9版本创建hbase表 > sql: > create table hbase_dimention_table( > id va

Re: -yD Kerberos 认证问题

2019-12-30 文章 Terry Wang
Hi ~ 这个问题在最新的代码上已经修复了,在flink 1.9 上应该也是不存在这个问题的,你可以用下看看~ Best, Terry Wang > 2019年12月31日 14:18, > 写道: > > 大家好 > > 我们这里有通过-yd动态的提交Kerberos认证参数的需求, > > 想问下这个jira为啥被标记为了won’t fix,谢谢 > > https://issues.apache.org/jira/browse/FLINK-12130 >

Re: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema

2019-12-29 文章 Terry Wang
你这种需求的一种解决思路,可以把 JSONObject类型定义成object类型,然后注册成table之后通过一个UDTF把JSONObject转换成特定的schema。 Best, Terry Wang > 2019年12月27日 19:56,aven.wu 写道: > > StreamTableEnvironment.registerDatastream(),目前只支持pojo 或者 > 是public属性的对象,根据默认字段或者用户指定的字段注册table,但某些场景下没有固定的格式,比如使用JSONObject类型DataStream

Re: flink 集群

2019-11-10 文章 Terry Wang
Hi, 李军~ 1. 自建集群是哪种方式? 可以考虑通过yarn集群的per job模式来部署作业,集群的监控可以直接通过yarn的资源管理实现 2. 任务需要更新的时候 可以kill job,保留state 文件,重新提交新的jar包,新的jar包可以设置从老作业的checkPoint文件里恢复继续执行 相关资料可以参考 官方文档/flink china 的资料,希望能有所帮助~ Best, Terry Wang > 2019年11月11日 13:38,李军 写道: > > > > > > 想咨询下,自建flink集

Re: 关于1.9使用hive中的udf

2019-09-26 文章 Terry Wang
问题1: default关键词报错是否试过 hive.`default`.xx_udf 方式, 这样转义应该能解决关键词报错的问题。 问题2: flink 1.10 中会支持modular plugin的方式,使用起来会更方便 Best, Terry Wang > 在 2019年9月25日,下午7:21,like 写道: > > 各位大佬好: >目前我在使用1.9版本中hive的udf碰到如下问题: >1、hive的udf都是注册在default库中,sql里面带有defa

Re: 关于窗口org.apache.flink.streaming.api.operators.TimerHeapInternalTimer 类实例数一直增大 导致内存溢出的问题

2019-09-25 文章 Terry Wang
会不会是你数据量比较大,然后heapMemory配置的相对较小导致的,是否尝试过调大内存和并发观察是否还有OOM? Best, Terry Wang > 在 2019年9月26日,上午9:25,claylin <1012539...@qq.com> 写道: > > 写了个去重的任务,代码如下: > > StreamQueryConfig queryConfig = tabEnv.queryConfig(); >queryConfig.withIdleStateRetentionTime(Time.seco

Re: Flink ORC 读取问题

2019-09-23 文章 Terry Wang
能否起一个本地程序,设置断点,看看读取数据那块儿逻辑是不是有问题 Best, Terry Wang > 在 2019年9月23日,下午5:11,ShuQi 写道: > > Flink版本为1.9.0,基于OrcTableSource进行ORC文件的读取,碰到一个问题,程序没有任何异常,顺利执行完毕,但又部分字段读出来始终为null,但实际是有值得,通过直接读取文件的方式可以读取到全部字段。 > > > 请问大家是否有什么好的建议,谢谢! >

Re: 请教初始化系统缓存的问题

2019-09-23 文章 Terry Wang
你好,可以考虑在open方法里启动一个定时的线程去取mysql里去数据和进行缓存更新。 当有新数据流入到你的系统中时,可以判断定时线程数据加载是否完成,当数据加载完成后再进行数据处理。 希望能有帮助~ Best, Terry Wang > 在 2019年9月24日,上午10:45,haoxin...@163.com 写道: > > 大家好,初学flink,版本1.8.1。想请教一个思路问题:在物联网系统中会实时处理一些设备上来的状态数据,但是设备元数据信息或者基础数据会存储在类似MySQL数据库中,当实时流数据上来的时候需要这些基础数据进行计算。但是因为性能问题

Re: flink-kafka Trigger 无法触发问题

2019-05-15 文章 Terry Wang
有可能是并行度设置大时,source的部分并发没有数据,导致eventTime未更新。可以排查下是否是这个问题 > 在 2019年5月15日,下午2:18,13341000780 <13341000...@163.com> 写道: > > hi, 各位大牛好! > 自定义了窗口触发器trigger,在onElement函数中注册了EventTimeTimer。出现了很离奇的问题,当并行度Parallelism >