Re: 关于row number over的用法

2019-08-26 文章 Jark Wu
Hi 你的 query 并不是 topn 语法。 可以先看这篇文档了解 topn 语法: http://blink.flink-china.org/dev/table/sql.html#topn Best, Jark > 在 2019年8月26日,19:02,ddwcg <3149768...@qq.com> 写道: > > > 文档上还没有更新topN怎么使用,我尝试用row_number() over() 跑了一下,但是报错,请问topN可以是RetractSt

Re: flink1.9中关于blink的文档在哪看呀

2019-08-26 文章 Jark Wu
Blink 合并到 flink 后,是作为一种 planner 的实现存在,所以文档是和 flink 在一起的。 如何使用 blink planner,可以看这里:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html#create-a-tableenvironment

Re: 关于flink状态后端使用Rocksdb序列化问题

2019-08-26 文章 Jark Wu
I think Congxian is right. POJO Schema Evolution is the feature what you want. Best, Jark > 在 2019年8月26日,21:52,Congxian Qiu 写道: > > hi, 你看以看一下 1.8 开始支持的 POJO Scheme Evolution[1] 是否满足你的需求,你需要注意的是如何满足 Flink > 中判断 POJO 的定义 [2] > [1] > https://ci.apache.org/projects/flink/flink-docs-release-1.9/d

答复: 关于elasticSearch table sink 构造过于复杂

2019-08-26 文章 aven . wu
你好: 可以自己构建 indexRequest 设置id,type,source 等字段 ElasticsearchSinkFunction 不知道是否满足你的需求? 发件人: Jark Wu 发送时间: 2019年8月26日 18:00 主题: Re: 关于elasticSearch table sink 构造过于复杂 > ETL作业, 能指定某个字段作为es的主键id么, 我试了同步数据明细到es中,但是id 却是随机生成的. 据我所知,目前是不支持的。 可以去建个 JIRA 给社区提需求。 如果使用的 blink planner,可以使用 deduplic

Re: flink 1.9 消费kafka报错

2019-08-26 文章 Jark Wu
g.apache.flink > > flink-table-api-java-bridge_${scala.binary.version} > ${flink.version} > > > > org.slf4j > slf4j-log4j12 > 1.7.7 > runtime > > > log4j > log4j > 1.2.17 >

Re: 关于elasticSearch table sink 构造过于复杂

2019-08-26 文章 Jark Wu
成的. > > > > 在 2019-08-26 15:47:53,"Jark Wu" 写道: >> 嗯,descriptor 和 DDL 就是可以用于这个场景,将 table 查询结果直接写入 sink。 >> >> Best, >> Jark >> >> >> >>> 在 2019年8月26日,16:44,巫旭阳 写道: >>> >>> 感谢解答, >>> 我的意图是

Re: flink 1.9 消费kafka报错

2019-08-26 文章 Jark Wu
t; > The following properties are requested: > batch-mode=false > class-name=org.apache.flink.table.executor.BlinkExecutorFactory > > The following factories have been considered: > org.apache.flink.streaming.connectors.kafka.KafkaTableSourceSinkFactory > org.apache.flink.

Re: 关于elasticSearch table sink 构造过于复杂

2019-08-26 文章 Jark Wu
嗯,descriptor 和 DDL 就是可以用于这个场景,将 table 查询结果直接写入 sink。 Best, Jark > 在 2019年8月26日,16:44,巫旭阳 写道: > > 感谢解答, > 我的意图是 构建EStablesink,可以将table 查询的结果 直接写入ES 避免再转换DataStream 通过ESSink写入 > > > > > > > 在 2019-08-26 16:39:49,"Jark Wu" 写道: >> H

Re: 关于elasticSearch table sink 构造过于复杂

2019-08-26 文章 Jark Wu
Hi , Elasticsearch6UpsertTableSink 是标记成 @internal 的,不是开放给用户直接去构造的。 如果要注册一个 ES sink,可以使用 descriptor API,也就是 org.apache.flink.table.descriptors.Elasticsearch。 或者使用 DDL 方式注册。 Best, Jark > 在 2019年8月26日,16:33,aven.wu 写道: > > Elasticsearch6UpsertTableSink > 的构造方法过于复杂参数非常多 > > public Elasticsearc

关于elasticSearch table sink 构造过于复杂

2019-08-26 文章 aven . wu
Elasticsearch6UpsertTableSink 的构造方法过于复杂参数非常多 public Elasticsearch6UpsertTableSink( boolean isAppendOnly, TableSchema schema, List hosts, String index, String docType, String keyDelimiter, String keyNullLiteral, SerializationSchema serializationSchema

Re: flink 1.9 消费kafka报错

2019-08-26 文章 Jark Wu
Hi, 你这个错误不是 kafka 的问题。 是 planner 使用的问题,如果要使用 blink planner,需要用 EnvironmentSetting 声明 blink planner。 详细请见: https://ci.apache.org/projects/flink/flink-docs-master/dev/table/common.html#create-a-tableenvironment

Re: flink1.9 blink planner table ddl 使用问题

2019-08-25 文章 Jark Wu
Maven 需要同时依赖 flink-json 和 flink-connector-kafka_2.11 Best, Jark > 在 2019年8月26日,13:57,hb <343122...@163.com> 写道: > > 使用了你的ddl语句,还是报一样的错误. > 我是在idea里面执行的,maven 配置的依赖. > > 在 2019-08-26 11:22:20,"Jark Wu" 写道: >> Hi, >> >> 初步看下来你的 DDL

Re: flink 1.9.0 StreamTableEnvironment 编译错误

2019-08-25 文章 Jark Wu
Hi, 关于 Expression的问题,你需要额外加入 import org.apache.flink.table.api._ 的 import。 See release note for more details: https://ci.apache.org/projects/flink/flink-docs-release-1.9/release-notes/flink-1.9.html#scala-expression-dsl-for-table-api-moved-to-flink-table-api-scala

Re: flink1.9 blink planner table ddl 使用问题

2019-08-25 文章 Jark Wu
Hi, 初步看下来你的 DDL 中有这几部分定义的有问题。 1. 缺少format properties 2. 缺少 connector.version 3. bootstrap.severs 的配置方式写的不对... 你可以参考下面这个作为example: CREATE TABLE kafka_json_source ( rowtime TIMESTAMP, user_name VARCHAR, event ROW ) WITH ( 'connector.type' = 'kafka', 'connector.version' = 'un

Re: FLINK TABLE API 自定义聚合函数UDAF从check point恢复任务报状态序列化不兼容问题( For heap backends, the new state serializer must not be incompatible)

2019-08-25 文章 Jark Wu
Hi Qi, 你在checkpoint 恢复任务前,有修改过 UDAF 的 ACC 结构吗? 另外,如果可以的话,最好也能带上 UDAF 的实现,和 SQL。 Best, Jark > 在 2019年8月23日,11:08,orlando qi 写道: > > > at

Re: Weekly Community Update 2019/33, Personal Chinese Version

2019-08-19 文章 Jark Wu
Hi Zili, +1 for the Chinese Weekly Community Update. I think this will categorical attract more Chinese users. Btw, could you also put the content of Chinese Weekly Updates in the email? I think this will be more align with the Apache Way. So that we can help to response users who have interesting

Re: NoSuchMethodError: org.apache.calcite.tools.FrameworkConfig.getTraitDefs()

2019-07-30 文章 Jark Wu
Hi Lakeshen, Thanks for trying out blink planner. First question, are you using blink-1.5.1 or flink-1.9-table-planner-blink ? We suggest to use the latter one because we don't maintain blink-1.5.1, you can try flink 1.9 instead. Best, Jark On Tue, 30 Jul 2019 at 17:02, LakeShen wrote: > Hi

Re: 请问这些名词,在翻译 Glossary 时,有必要翻译成中文吗?

2019-07-18 文章 Jark Wu
Hi, Just find the Glossary translation PR is created [1]. Let's move the discussion there. [1]. https://github.com/apache/flink/pull/9173 On Fri, 19 Jul 2019 at 11:22, Jark Wu wrote: > Hi highfei, > > Thanks for bringing up this discussion. I would suggest to move the >

Re: 请问这些名词,在翻译 Glossary 时,有必要翻译成中文吗?

2019-07-18 文章 Jark Wu
Hi highfei, Thanks for bringing up this discussion. I would suggest to move the discussion to the Glossary translation JIRA FLINK-13037 . Thanks, Jark On Fri, 19 Jul 2019 at 09:00, Zili Chen wrote: > Hi, > > 欢迎有 PR 后同步到这个 thread 上 :-) > >

Re: flink 自定义UDTF函数

2019-06-16 文章 Jark Wu
Hi Liu, 好像还是没有收到你的函数源码? 你可以尝试将源码粘贴过来,不要粘贴图片。 On Mon, 17 Jun 2019 at 10:09, liu_mingzhang wrote: > 自定义的函数如下: > > > 源码中注释里的示例也是这样写的,但是编译报错... > > 在2019年6月15日 15:52,Hequn Cheng > 写道: > > 自定义的函数忘贴了么 :) > > On Fri, Jun 14, 2019 at 6:58 PM liu_mingzhang > wrote: > > > 我希望自定义一个这样功能的UDTF, > > 将表中原始数据

Re: 窗口触发机制的疑惑

2019-04-15 文章 Jark Wu
是的。 > 在 2019年4月15日,18:55,jszhouch...@163.com 写道: > > 窗口触发的条件是: > 1、watermark时间 >= window_end_time > 2、在[window_start_time,window_end_time)中有数据存在 > > > 但是在代码中我们可以看到如果 > if (window.maxTimestamp() <= ctx.getCurrentWatermark()) { > // if the watermark is already past the window fire immediately > r

Re: Temporal Table是否不支持left join,完整案例如下

2019-04-15 文章 Jark Wu
Hi, 请带上完整的错误信息,或者错误的结果。 Regards, Jark > 在 2019年4月15日,15:19,492341344 写道: > > import java.util.Collections > > import org.apache.flink.streaming.api.scala._ > import org.apache.flink.table.api.TableEnvironment > import org.apache.flink.table.api.scala._ > import org.apache.flink.table.api.typ

【问题】inputqueueLength/inputqueueLength一直和并行度一样?怎么降低这个值

2019-03-29 文章 wu...@wangsu.com

Re: blink文档编译失败。有编译好的发布版本的blink文档,可以共享个访问地址吗?

2019-03-25 文章 Jark Wu
blink 文档的地址: https://flink-china.org/doc/blink On Tue, 26 Mar 2019 at 09:14, 蒋晓峰 wrote: > 你可以看看这份文档: > https://files.alicdn.com/tpsservice/4824447b829149c86bedd19424d05915.pdf > > > > 在2019年03月26日 08:52,邓成刚【qq】 写道: > 看一下这里,是不是你想要的。。。 > http://fetching118.com/article/5.html > > > > 邓成刚【qq】 > > 发件

Re: fw:Blink SQL报错

2019-03-25 文章 Jark Wu
cc 姬平老师帮忙看下这个问题。 On Mon, 25 Mar 2019 at 19:23, bigdatayunzhongyan < bigdatayunzhong...@aliyun.com> wrote: > @Bowen @jark 有时间帮忙看下 > 谢谢! > > *发件人:* bigdatayunzhongyan > *发送时间:* 2019-03-25 19:17:22 > *收件人:* user-zh-help > *主题:* Blink SQL报错 > Hi,all: > 问题详见附件: > 环境信息: > 环境 hadoop2.

Re: 试用BlinkSQL发现一些问题

2019-02-26 文章 Jark Wu
Hi, 邮件列表不支持发图片,可以发图片的链接。 Thanks, Jark On Wed, 27 Feb 2019 at 11:17, bigdatayunzhongyan wrote: > > 大家好! > 在试用BlinkSQL中发现一些问题,总结如下: > Hive版本2.3.4 > 1、SQL解析有问题 无法识别formatted > > 2、不支持hive外部表 > 3、Hive1.x版本兼容问题 > >

Re: [Blink]使用 CsvTableSource 做维度表,在 csv 文件修改后无法更新

2019-02-25 文章 Jark Wu
Hi, Csv 维表主要拿来测试用的,不支持动态更新。blink中的hbase也支持维表,可以试下。 Best, Jark On Tue, 26 Feb 2019 at 09:21, Dian Fu wrote: > CSVTableSource不支持动态更新。自定义维表可以实现LookupableTableSource接口 > > > > 在 2019年2月25日,下午11:51,龙逸尘 写道: > > > > Hi all, > >我正在测试 Blink 的维度表 join 功能,参考 blink doc 上的案例,使用 CsvTableSource 做维度表,指定了

订阅

2019-02-14 文章 Wu

Re: Flink基础功能Flink for zeppelin痛点

2019-02-02 文章 Jark Wu
Hi, 可以访问这个两个渲染后的页面 https://flink-china.org/doc/blink/ops/zeppelin.html https://flink-china.org/doc/blink/quickstart/zeppelin_quickstart.html Best, Jark On Sat, 2 Feb 2019 at 13:56, Jeff Zhang wrote: > 你好,谢谢你的反馈 > > >>> 发现只支持Flink scala API > Blink on Flink 是支持SQL,包括batch sql和streaming sql,你看的

<    1   2   3   4   5