如何快速定位拖慢速度的 operator

2020-06-24 Thread 徐骁
平常经常遇到这个问题, 特来求助下, 平常任务基本都是共享 default slot 的, 所以在 web 上显示的是一整块, 当任务出现问题可以看到被压, 但是很难定位是里面的哪个 operator 出问题了 有没有什么方法能快速的定位出问题的 operator, 想问问大家平时怎么做的

???????????????????????????? operator

2020-06-24 Thread cs
1. ??operatordisableChainingoperator?? 2. tm --  -- ??: ""

取消订阅flink-China

2020-06-24 Thread 梁立海
取消订阅flink-China

Re:Re: FlinkSQL 是否支持类似临时中间表的概念

2020-06-24 Thread Weixubin
感谢 Leonard Xu 与 Jark 两位,已成功解决满足需求! 对于 chenxuying 所提出的问题,我也很感兴趣。 由于使用UDF重复解析两遍,不知是否有更好的替代方法 Thanks Bin 在 2020-06-24 12:32:27,"Leonard Xu" 写道: >Hello, > >你的需求其实是要 抽取记录的字段定义watermark, 这个只能放到source 表的DDL中,view上也不支持的。 >1.10里的计算列 + udf 应该就可以满足你的需求, 大概长这样: > >CREATE TABLE sourceTable ( >

flink REST API是否支持-C参数

2020-06-24 Thread chenxuying
目前使用的是flink 1.10.0 背景: REST API有一个提交job的接口 接口 /jars/:jarid/run 参数entryClass,programArgs,parallelism,jobId,allowNonRestoredState,savepointPath 如果使用命令行方式提交job flink run -C file:///usr/local/soft/flink/my-function-0.1.jar -c cn.xuying.flink.table.sql.ParserSqlJob /usr/local/s

回复: Re: FlinkSQL 是否支持类似临时中间表的概念

2020-06-24 Thread wangweigu...@stevegame.cn
根据你的需求描述,用Flink Table API和SQL是可以解决的! 发件人: Weixubin 发送时间: 2020-06-24 12:09 收件人: user-zh 主题: Re:Re: FlinkSQL 是否支持类似临时中间表的概念 感谢你提供了子查询的思路,不过经过试验后有点可惜,这似乎还是满足不了我们的需求。 我们的场景是从阿里云SLS读取消息。每条消息有一个字段是request_uri。 第一个数据处理过程就是将 request_uri 解析为多个属性(多列),存成一行,作为一条记录。 第二个数据处理过程就是将每条记录里的 声明heart_ti

Re: flinksql

2020-06-24 Thread Rui Li
是要通过Flink SQL client创建一张hive表么?在1.10里可能需要给表的参数加上'is_generic'='false'才行,否则创建出来的表默认是非hive表,hive那边是读不了的 On Mon, Jun 22, 2020 at 3:53 PM Leonard Xu wrote: > Hi, > 这个报错通常是缺少了 connector 相关的jar包,或者 connector 的with参数填写错误。 > > flink sql-client下建的表 > 这是什么表,可以把建表 SQL 发出来看看吗? > > Best, > Leonard Xu -- B

Re: FlinkSQL 是否支持类似临时中间表的概念

2020-06-24 Thread Leonard Xu
Hi Chenxuying 是想在计算列中使用udtf, 现在的计算列只支持udf, 不支持udtf, 目前还做不到的。 祝好, Leonard Xu > 在 2020年6月24日,18:06,Weixubin <18925434...@163.com> 写道: > > > > > 感谢 Leonard Xu 与 Jark 两位,已成功解决满足需求! > 对于 chenxuying 所提出的问题,我也很感兴趣。 > 由于使用UDF重复解析两遍,不知是否有更好的替代方法 > Thanks > Bin > > > > > > > > > > > > > >

Re: 如何快速定位拖慢速度的 operator

2020-06-24 Thread 徐骁
两个方法确实可以, 但是要追踪起来很废时间, 对小白太不友好啊

Flink??????Canal????Oracle????

2020-06-24 Thread gaolanf...@hotmail.com
?? Flink??CanalOracle Canal MySQL??binlog?? gaolanf...@hotmail.com lonely Wanderer ?? 2020-06-23 23:33 user-zh ?? ??Flink SQL??UDFjson ?? ??Flink(1.8)S

Re: Flink可以用Canal对接Oracle么?

2020-06-24 Thread Leonard Xu
Hello Flink 1.11 会支持了读取CDC的功能,支持接入canal和debezuim的format的,1.11快要发布了,这是文档[1],可以参考。 Best, Leonard Xu [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/formats/canal.html

回复: Re: Flink可以用Canal对接Oracle么?

2020-06-24 Thread gaolanf...@hotmail.com
Hello 非常感谢! 查了您给的资料 Canal支持MySQL, Debezuim支持 MySQL, PostgreSQL, Oracle等, 不过Debezuim没用过,用的人也相对少,自己去试试看~ gaolanf...@hotmail.com 发件人: Leonard Xu 发送时间: 2020-06-25 13:27 收件人: user-zh 主题: Re: Flink可以用Canal对接Oracle么? Hello Flink 1.11 会支持了读取CDC的功能,支持接入can