谢谢回复
在 2022-07-13 19:14:02，"Yuan Mei" 写道：
>目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend
>使用，短期还是会以提升 Gemini 更方面性能为主，后续会逐步将主要部分开源的。
>
>Best
>Yuan
>
>On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote:
>
>>
>>
退订
在 2022-07-13 19:14:02，"Yuan Mei" 写道：
>目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend
>使用，短期还是会以提升 Gemini 更方面性能为主，后续会逐步将主要部分开源的。
>
>Best
>Yuan
>
>On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote:
>
>>
>> 你好，是从阿里云产品的Blink迁移到
目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend
使用，短期还是会以提升 Gemini 更方面性能为主，后续会逐步将主要部分开源的。
Best
Yuan
On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote:
>
> 你好，是从阿里云产品的Blink迁移到Flink吗？这个迁移过程可以参考[1]，Gemini在“实时计算Flink版”中的介绍和使用方式可以参考[2][3]。
> 关于合并到社区，短期内没有相关计划。
>
你好，是从阿里云产品的Blink迁移到Flink吗？这个迁移过程可以参考[1]，Gemini在“实时计算Flink版”中的介绍和使用方式可以参考[2][3]。
关于合并到社区，短期内没有相关计划。
[1] https://help.aliyun.com/document_detail/421043.html
[2] https://help.aliyun.com/document_detail/414255.html
[3] https://help.aliyun.com/document_detail/414256.html
Best,
Hangxiang.
On Wed, Jul
看到一篇文章《数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验》，
https://developer.aliyun.com/article/770793，
请问是否有计划合并gemini到flink的计划？
Hi, all
flink1.12 Blink planner有人遇到过这样的问题么：
下面是简化的逻辑
DataStream ds = .map(xxxRichMapFunction);
Table table = tableEnv.fromDataStream(ds);
tableEnv.toAppendStream(table.select(xxx).keyBy(xxx),
Row.class).addSink(xxxRichSinkFunction);
xxxRichMapFunction中对某个字段写了row.setField(index
Hi, all
flink1.12 Blink planner有人遇到过这样的问题么：
下面是简化的逻辑
DataStream ds = .map(xxxRichMapFunction);
Table table = tableEnv.fromDataStream(ds);
tableEnv.toAppendStream(table.select(xxx).keyBy(xxx),
Row.class).addSink(xxxRichSinkFunction);
xxxRichMapFunction中对某个字段写了row.setField(index
Hi, all
flink1.12 Blink planner有人遇到过这样的问题么：
下面是简化的逻辑
DataStream ds = .map(xxxRichMapFunction);
Table table = tableEnv.fromDataStream(ds);
tableEnv.toAppendStream(table.select(xxx).keyBy(xxx),
Row.class).addSink(xxxRichSinkFunction);
xxxRichMapFunction中对某个字段写了row.setField(index
你好，请问Flink 是否支持非blink planer下的 listagg,有计划支持吗。现阶段如果想使用listagg，请问有什么好的方法支持吗
目前blink planner中有大量Scala代码，Scala在这方面写起来确实简单不少。未来不需要用Java重写是吗？
我现在也碰到了这个问题，也是删除了方法中检查模式的代码 settings.isStreamingMode()。源码为什么要加这样一个检测呢？ 感觉
StreamTableEnvironmentImpl 原来是能跑批的，现在加上这个检测 反而不能了。我看最新版的 1.12 还有这个检测代码呢
--
Sent from: http://apache-flink.147419.n8.nabble.com/
flink cep sql blinkPATTERN (e1{3 } - e2{1 }?)??
.trigger'='partition-time',
| 'sink.partition-commit.delay'='1 h',
| 'sink.partition-commit.policy.kind'='metastore,success-file'
|);
|""".stripMargin)
build.sbt is following:
"org.apache.flink" %% "flink-table-planner-blink"
--
> 发件人:
> "user-zh"
> <
> danny0...@apache.org;
> 发送时间:2020年11月10日(星期二) 下午2:43
> 收件人:"user-zh"
> 主题:Re: flink 1.11.2 如何获取blink计划下的Ba
通过table api的// declare an additional logical field as an event time attribute
Tabletable=tEnv.fromDataStream(stream,$("user_name"),$("data"),$("user_action_time").rowtime()");
可以把eventtime往后传，
如果使用createview的话怎么把这个time attribute往后带吗？
不往后传的话可能会
这个有什么方法吗？
BatchTableEnvironmenttable to dataset; dataset to table
----
??:
"user-zh"
"user-zh"
> <
> danny0...@apache.org;
> 发送时间:2020年11月9日(星期一) 中午12:34
> 收件人:"user-zh"
> 主题:Re: flink 1.11.2 如何获取blink计划下的BatchTableEnvironment对象
>
>
>
>
> BatchTableEnvironment
??BatchTableEnvironment
----
??:
"user-zh"
>
> BatchTableEnvironment 环境
是说 BatchTableEnvironment 对象吗
Asahi Lee <978466...@qq.com> 于2020年11月9日周一 上午10:48写道：
> 你好！
>我使用的是flink 1.11.2版本，官网的文档中说明blink的batch执行环境以如下方式获取：
> // ** // BLINK BATCH QUERY //
??
??flink
1.11.2??blink??batch
// ** // BLINK BATCH QUERY // ** import
org.apache.flink.table.api.EnvironmentSettings; import
org.apache.flink.table.api.TableEnvironment; EnvironmentSettings bbSettings
有发生超用内存，然后container 被YARN
>> > KILL 。
>> > 单流跑的话，比较正常。
>> > JOB的内存是4G。版本1.11.1
>> > --
>> > 发件人：Benchao Li
>> > 发送时间：2020年9月23日(星期三) 10:50
>> > 收件人：user-zh
>> > 主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
>> >
>> > Hi Tianwa
> > 发件人：Benchao Li
> > 发送时间：2020年9月23日(星期三) 10:50
> > 收件人：user-zh
> > 主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
> >
> > Hi Tianwang,
> >
> > 不知道你的DataStream是怎么实现的，只是从SQL的角度来看，有两个地方会导致状态的量会增加
> >
> > 1. time interval
谢谢Peidian ，我试一下
--
发件人：Peidian Li
发送时间：2020年9月23日(星期三) 14:02
收件人：user-zh ; 郑斌斌
主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
我也遇到过类似的问题，也是使用rocksdb，flink 1.10版本，我理解的是block
cache超用，我这边的解决办法是增大了taskmanager.memory.jvm-overhead.fraction，如
.flink.yarn.YarnResourceManager.lambda$onContainersCompleted$0(YarnResourceManager.java:385)
> at
> org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRunAsync(AkkaRpcActor.java:402)
> --
> 发件人：Benchao Li
> 发送时间：2020年
va:402)
--
发件人：Benchao Li
发送时间：2020年9月23日(星期三) 13:12
收件人：user-zh ; 郑斌斌
主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
超yarn内存不合理。因为state如果用的是heap，那应该是堆内内存，不会超过配置的JVM的最大heap的内存的，
只会jvm oom。超过yarn内存限制，那是因为还有jvm其他的overhead，加起来总量超了。
郑斌斌 于2020年9月23日周三 下
是4G。版本1.11.1
> --
> 发件人：Benchao Li
> 发送时间：2020年9月23日(星期三) 10:50
> 收件人：user-zh
> 主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
>
> Hi Tianwang,
>
> 不知道你的DataStream是怎么实现的，只是从SQL的角度来看，有两个地方会导致状态的量会增加
>
> 1. time interval join会将watermark delay之后再发送，也
希望这个可以解答你的疑惑~
>
> [1] https://issues.apache.org/jira/browse/FLINK-18996
>
> Tianwang Li 于2020年9月22日周二 下午8:26写道：
>
> > 使用 Blink SQL 实现 interval join + hop window 超用内存比较严重。
> >
> >
> > 【join】
> >
> > > SELECT `b`.`rowtime`,
> > > `a`.`c
我这边也是遇到同样的问题，简单的双流 interval join SQL 跑4-5天就会有发生超用内存，然后container 被YARN KILL 。
单流跑的话，比较正常。
JOB的内存是4G。版本1.11.1
--
发件人：Benchao Li
发送时间：2020年9月23日(星期三) 10:50
收件人：user-zh
主 题：Re: [flink-1.10.2] Blink SQL 超用内存严重
Hi Tianwang,
不知道你的
://issues.apache.org/jira/browse/FLINK-18996
Tianwang Li 于2020年9月22日周二 下午8:26写道：
> 使用 Blink SQL 实现 interval join + hop window 超用内存比较严重。
>
>
> 【join】
>
> > SELECT `b`.`rowtime`,
> > `a`.`c_id`,
> > `b`.`openid`
> > FROM `test_table_a` AS `a`
> > IN
使用 Blink SQL 实现 interval join + hop window 超用内存比较严重。
【join】
> SELECT `b`.`rowtime`,
> `a`.`c_id`,
> `b`.`openid`
> FROM `test_table_a` AS `a`
> INNER JOIN `test_table_b` AS `b` ON `a`.`RoomID` = `b`.`RoomID`
> AND `a`.`openid` = `b`.`openid`
> AND `b`.`rowtime` BETWEEN AS
Hi jun su,
如果是自建平台的话，可以考虑用zeppelin的sdk 来提交作业
https://www.yuque.com/jeffzhangjianfeng/gldg8w/pz2xoh
jun su 于2020年9月18日周五 上午10:59写道：
> hi godfrey,
>
> 我们的用法类似zeppelin, 项目形式类似notebook, 在第一次运行笔记时创建env,
> 再次运行notebook时会创建新线程来构建job运行, 所以我参考了zepplin的做法暂时fix了这个问题
>
> godfrey he 于2020年9月17日周四
hi godfrey,
我们的用法类似zeppelin, 项目形式类似notebook, 在第一次运行笔记时创建env,
再次运行notebook时会创建新线程来构建job运行, 所以我参考了zepplin的做法暂时fix了这个问题
godfrey he 于2020年9月17日周四 下午10:07写道：
> TableEnvironment 不是多线程安全的。
>
> btw, 你能描述一下你在多线程情况下怎么使用 TableEnvironment 的吗？
>
> Jeff Zhang 于2020年9月14日周一 下午12:10写道：
>
> >
TableEnvironment 不是多线程安全的。
btw, 你能描述一下你在多线程情况下怎么使用 TableEnvironment 的吗？
Jeff Zhang 于2020年9月14日周一 下午12:10写道：
> 参考zeppelin的做法，每个线程里都调用这个
>
>
> https://github.com/apache/zeppelin/blob/master/flink/interpreter/src/main/java/org/apache/zeppelin/flink/FlinkSqlInterrpeter.java#L111
>
>
> jun su
参考zeppelin的做法，每个线程里都调用这个
https://github.com/apache/zeppelin/blob/master/flink/interpreter/src/main/java/org/apache/zeppelin/flink/FlinkSqlInterrpeter.java#L111
jun su 于2020年9月14日周一 上午11:54写道：
> hi all,
>
> 多线程模式下执行sql ， 在非聚合sql时报了如下错误：
>
> Caused by: java.lang.NullPointerException
> at
hi all,
多线程模式下执行sql ， 在非聚合sql时报了如下错误：
Caused by: java.lang.NullPointerException
at java.util.Objects.requireNonNull(Objects.java:203)
at
org.apache.calcite.rel.metadata.RelMetadataQuery.(RelMetadataQuery.java:141)
at
; [1]
>
> https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism
>
> jun su 于2020年7月27日周一 下午3:50写道：
>
> > hi all,
> >
> > Flink 目前的blink table planner batch mode
> > (读hdfs上的orc文件)只支持StreamTableSource
Hi，
可以配置 table.exec.resource.default-parallelism 为需要的并发。详见文档[1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/config.html#table-exec-resource-default-parallelism
jun su 于2020年7月27日周一 下午3:50写道：
> hi all,
>
> Flink 目前的blink table planner batch mode
> (读h
hi all,
Flink 目前的blink table planner batch mode
(读hdfs上的orc文件)只支持StreamTableSource和LookupableTableSource，
但是StreamTableSource的并行度默认应该是1 ， 底层是ContinuousFileMonitoringFunction ,
那么如何能扩大并行度来优化性能呢？
--
Best,
Jun Su
tantiationUtil.java:511)
> at org.apache.flink.streaming.api.graph.StreamConfig
> .getStreamOperatorFactory(StreamConfig.java:276)
> ... 6 more
>
>
> Jark Wu 于2020年5月20日周三 下午2:30写道：
>
>> Hi,
>>
>> 因为 Blink planner
>> 不支持 or
)
at org.apache.flink.streaming.api.graph.StreamConfig
.getStreamOperatorFactory(StreamConfig.java:276)
... 6 more
Jark Wu 于2020年5月20日周三 下午2:30写道：
> Hi,
>
> 因为 Blink planner
> 不支持 org.apache.flink.table.api.java.BatchTableEnvironment，所以无法对接
> ExecutionEnvironment。
> Blink planne
??17610775726??
"org.apache.flink" %% "flink-table-api-scala-bridge" % "1.10.1",
"org.apache.flink" %% "flink-table-planner-blink" % "1.10.1" % "provided",
"org.apac
使用row number设置成blink的planner就行了 依赖也只用加blink的
| |
17610775726
|
|
邮箱：17610775...@163.com
|
Signature is customized by Netease Mail Master
On 06/29/2020 17:19, xuhaiLong wrote:
hello，请教下
"org.apache.flink" %% "flink-table-api-scala-bridge" % "1.10.1",
&quo
hello，请教下
"org.apache.flink" %% "flink-table-api-scala-bridge" % "1.10.1",
"org.apache.flink" %% "flink-table-planner-blink" % "1.10.1" % "provided",
"org.apache.flink" % "flink-table" % &q
Hi,
因为 Blink planner
不支持 org.apache.flink.table.api.java.BatchTableEnvironment，所以无法对接
ExecutionEnvironment。
Blink planner 的 batch 模式，目前只支持 TableEnvironemnt，不过也可以通过 hack 的方式去使用
StreamTableEnvironment，
需要直接去构造 StreamTableEnvironmentImpl:
StreamExecutionEnvironment execEnv
hi all,
过去在ide中想连接远程flink集群可以 ExecutionEnvironment.createRemoteEnvironment()
官网Blink构建方式是:
val bbSettings =
EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build()
val bbTableEnv = TableEnvironment.create(bbSettings)
请问如何连接远程集群呢？
--
Best,
Jun Su
转换去Deduplication算子。
> -原始邮件-
> 发件人: "宇张"
> 发送时间: 2020-05-11 11:40:37 (星期一)
> 收件人: user-zh@flink.apache.org
> 抄送:
> 主题: Re: flink1.9 Blink sql 丢失主键+去重和时态表联合使用吞吐量低
>
> hi、
> 我这面state backend用的是FsStateBackend，状态保存在hdfs
>
> On Mon, May 11, 2020 at 11:19 A
hi、
我这面state backend用的是FsStateBackend，状态保存在hdfs
On Mon, May 11, 2020 at 11:19 AM Benchao Li wrote:
> Hi，
>
> 你用的是什么state backend呢？看你的情况很有可能跟这个有关系。比如用的是rocksdb，然后是普通磁盘的话，很容易遇到IO瓶颈。
>
> 宇张 于2020年5月11日周一 上午11:14写道：
>
> > hi、
> > 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到
Hi，
你用的是什么state backend呢？看你的情况很有可能跟这个有关系。比如用的是rocksdb，然后是普通磁盘的话，很容易遇到IO瓶颈。
宇张 于2020年5月11日周一 上午11:14写道：
> hi、
> 我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题：
> 1、使用row_number函数丢失主键
> 2、row_number函数和时态表关联联合使用程序吞吐量严重降低，对应sql如下：
> // 理论上这里面是不需要 distinct的，但sql中的主键blink提取不出来导致校验不通过，
hi、
我这面使用flink1.9的Blink sql完成数据转换操作，但遇到如下问题：
1、使用row_number函数丢失主键
2、row_number函数和时态表关联联合使用程序吞吐量严重降低，对应sql如下：
// 理论上这里面是不需要 distinct的，但sql中的主键blink提取不出来导致校验不通过，所以加了一个
SELECT distinct t1.id as order_id,...,DATE_FORMAT(t1.proctime,'-MM-dd
HH:mm:ss') as etl_time FROM (select id,...,proctime from
: JArrayList[Array[Byte]] = res.getAccumulatorResult(id)
> > SerializedListAccumulator.deserializeList(accResult, typeSerializer)
> > }
> >
> >
> > jun su 于2020年4月24日周五 下午2:05写道：
> >
> > > hi all,
> > >
> > > blink模式下没法将table 转为 dataset ， 所以如果直接collect了, 请问有类似方法可以获取到
> > > 结果用于代码调试么？
> > >
> > > --
> > > Best,
> > > Jun Su
> > >
> >
> >
> > --
> > Best,
> > Jun Su
> >
>
>
> --
> Best, Jingsong Lee
>
--
Best,
Jun Su
e)
>
> val res = tEnv.execute("test")
> val accResult: JArrayList[Array[Byte]] = res.getAccumulatorResult(id)
> SerializedListAccumulator.deserializeList(accResult, typeSerializer)
> }
>
>
> jun su 于2020年4月24日周五 下午2:05写道：
>
> > hi all,
> >
>
于2020年4月24日周五 下午2:05写道：
> hi all,
>
> blink模式下没法将table 转为 dataset ， 所以如果直接collect了, 请问有类似方法可以获取到
> 结果用于代码调试么？
>
> --
> Best,
> Jun Su
>
--
Best,
Jun Su
hi all,
blink模式下没法将table 转为 dataset ， 所以如果直接collect了, 请问有类似方法可以获取到
结果用于代码调试么？
--
Best,
Jun Su
问题
> --原始邮件--
> 发件人:"Kurt Young" 发送时间:2020年4月1日(星期三) 上午9:22
> 收件人:"user-zh"
> 主题:【反馈收集】在 1.11 版本中将 blink planner 作为默认的 planner
>
>
>
> 大家好，
>
> 正如大家所知，Blink planner 是 Flink 1.9 版本中引入的一个全新的 Table API 和 SQL 的翻译优化
> 器，并且我们已经在 1.10 版
??blinkplanner??proctime??TimeStampLocalDateTime??
org.apache.flink.table.dataformat.DataFormatConverters??TimestampConverter ??
大家好，
正如大家所知，Blink planner 是 Flink 1.9 版本中引入的一个全新的 Table API 和 SQL 的翻译优化
器，并且我们已经在 1.10 版本中将其作为 SQL CLI 的默认 planner。由于社区很早就已经决定不再
针对老的优化器去增添任何新的功能，所以从功能和性能上来说，老的 flink planner 已经缺了很多
现在社区最新的 SQL 相关的功能，比如新的类型系统，更多的DDL的支持，以及即将在 1.11 发布
的新的 TableSource 和 TableSink 接口和随之而来的对 Binlog 类日志的解析。
因此我们打算尝试在接
，如：
SELECT * from student WHERE score > 60
注：以上命令都可以在 Flink SQL CLI 中运行 [1]。
Best,
Jark
[1]:
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/sqlClient.html
On Mon, 23 Mar 2020 at 16:30, 烟虫李彦卓 <1229766...@qq.com> wrote:
> hi，All请问，在blink planner的batch mode下，读取m
hi??Allblink planner??batch modemysqlJDBC
Connector
CREATE TABLE MyUserTable ( ... ) WITH ( 'connector.type' = 'jdbc', --
required: specify this table type is jdbc 'connector.url' =
'jdbc:mysql://localhost:3306/flink-test', -- required: JDBC DB
workaround 可以将常量放到 selelct 中，比如 select a,b,'windows进程创建' from
>>> MyTable where c = 'windows进程创建'
>>>
>>> Best,
>>> Jark
>>>
>>> On Mon, 17 Feb 2020 at 15:15, jun su wrote:
>>>
>>>> 上一个问题补充, 在blink table planner下:
&
pache.org/jira/browse/FLINK-16113
>>
>> 当前的 workaround 可以将常量放到 selelct 中，比如 select a,b,'windows进程创建' from MyTable
>> where c = 'windows进程创建'
>>
>> Best,
>> Jark
>>
>> On Mon, 17 Feb 2020 at 15:15, jun su wrote:
>>
>>> 上一个问题补充, 在bli
排查了下，确实是个 bug，我开了个 issue 来跟进解决：
https://issues.apache.org/jira/browse/FLINK-16113
当前的 workaround 可以将常量放到 selelct 中，比如 select a,b,'windows进程创建' from MyTable
where c = 'windows进程创建'
Best,
Jark
On Mon, 17 Feb 2020 at 15:15, jun su wrote:
> 上一个问题补充, 在blink table planner下:
>
> select e
DL。
>
>Best,
>Jark
>
>On Fri, 14 Feb 2020 at 23:03, sunfulin wrote:
>
>> Hi，
>> 我使用Flink 1.10，开启了Blink Planner，在尝试写入ES且使用UpsertMode时（sql就是insert into
>> table select xxx group by x），抛出了如下异常：
>> 我通过DDL尝试定义一个ESTableSink，且声名primary key时，运行时又说Primary key和uni
1. 发现ParquetTableSource在flink table planner下, stream/batch 两个模式下都有以上提出的问题,
2. blink table planner下没有以上问题, 但是中文print方法有编码问题
不清数是不是我使用问题，麻烦查证下
jun su 于2020年2月14日周五 下午6:30写道：
> hi Jark Wu,
>
> 抱歉以下是我的代码和结果:
>
> public static void main(String[] args) throws Exception {
> Ex
下午5:05写道：
>
>> Hi jun,
>>
>> pushdown逻辑是批流复用的，应该work的很愉快。
>>
>> Best,
>> Jingsong Lee
>>
>>
>> --
>> From:jun su
>> Send Time:2020年2月14日(星期五) 17:00
>> To:user-zh
> Jingsong Lee
>
>
> --
> From:jun su
> Send Time:2020年2月14日(星期五) 17:00
> To:user-zh
> Subject:ParquetTableSource在blink table planner下的使用问题
>
> 你好:
>官网文档中说明Blink Table Planner并不支持BatchTableSource,
>
> 目前最新版1.10代码中的ParquetTableSource还是BatchTableSource，那么说明
你好:
官网文档中说明Blink Table Planner并不支持BatchTableSource,
目前最新版1.10代码中的ParquetTableSource还是BatchTableSource，那么说明目前的ParquetTableSource还不支持blink
table planner ？如果将现有的ParquetTableSource改成StreamTableSource后,
pushdown逻辑会不会出现bug?
/yarn_setup.html#background--internals
祝好
唐云
From: Yong
Sent: Wednesday, January 22, 2020 14:53
To: dev ; user-zh
Subject: blink(基于flink1.5.1版本)可以使用两个hadoop集群吗？
大家好，
flink可以使用两个hadoop集群吗？
背景如下：
目前我这边基于blink搭建了flink standalone集群，状态存储使用公司的hadoop hdfs
并且使用了kerberos认证
flinkhadoop
??
??blink??flink
standalonehadoop hdfs
??kerberos??TM??jobHadoop
YARN??flink
>> Jingsong Lee
>>
>> --
>> From:Kevin Liao
>> Send Time:2020年1月14日(星期二) 11:38
>> To:user-zh ; JingsongLee <
>> lzljs3620...@aliyun.com>
>> Subject:Re: blink planner的org.apache.fli
t; Jingsong Lee
>
> --
> From:Kevin Liao
> Send Time:2020年1月14日(星期二) 11:38
> To:user-zh ; JingsongLee <
> lzljs3620...@aliyun.com>
> Subject:Re: blink planner的org.apache.flink.table.api.ValidationException报错
>
> flink 版本是 1.9.1 release
>
> Doc
>
谢谢，
你可以试下最新的1.9版本或是1.10或是master吗？因为这里修了一些bug，不确定还存在不。
Best,
Jingsong Lee
--
From:Kevin Liao
Send Time:2020年1月14日(星期二) 11:38
To:user-zh ; JingsongLee
Subject:Re: blink planner的org.apache.flink.table.api.ValidationException报错
, doc.xxxN as seq FROM xxx");
>
> //result.printSchema();
> tEnv.toAppendStream(result,
> new TupleTypeInfo<>(STRING, STRING, STRING, STRING, STRING,
> STRING, STRING, STRING,
> STRING, STRING, BOOLEAN, LONG, STRING, STRING, STRING,
> STRING
ING, STRING, BOOLEAN, LONG, STRING, STRING, STRING,
STRING, STRING, STRING,
STRING, LONG, STRING, INT, STRING, INT)).print();
以上代码在 flink planner 下可以运行，但切换到 blink planner 则报错如下：
、、、
Exception in thread "main"
org.apache.flink.t
你好，
blink perjob模式是根据job的资源需求按需申请资源的，不能限制整个job的资源上限。
你列出来的这几个参数，只能控制单个TM的资源上限，但是单个TM的资源上限减少了，整个job的资源需求并不会变，只是会申请更多的TM。
Thank you~
Xintong Song
On Sat, Oct 19, 2019 at 3:56 PM 蒋涛涛 wrote:
> Hi all，
>
> 我在使用blink提交的任务的时候（perjob模式），如何限制任务的资源使用上限啊，有个任务使用yarn的vcores特别多
&
om-field',
> 'schema.0.rowtime.timestamps.from' = 'sqlTimestamp',
> 'schema.0.rowtime.watermarks.type' = 'periodic-ascending')
> 尝试过这样的定义也是报同样的错
>
> On Thu, 17 Oct 2019 at 20:22, Zijie Lu wrote:
>
>> 而这个定义在old planner里是可以用的
>>
>> On Thu, 17
ing"}'
'schema.0.rowtime.timestamps.type' = 'from-field',
'schema.0.rowtime.timestamps.from' = 'sqlTimestamp',
'schema.0.rowtime.watermarks.type' = 'periodic-ascending')
尝试过这样的定义也是报同样的错
On Thu, 17 Oct 2019 at 20:22, Zijie Lu wrote:
> 而这个定义在old planner里是可以用的
>
> On Thu, 17 O
而这个定义在old planner里是可以用的
On Thu, 17 Oct 2019 at 19:49, Zijie Lu wrote:
> 我使用blink planner来定义了下面的表
> CREATE TABLE requests(
> `rowtime` TIMESTAMP,
> `requestId` VARCHAR,
> `algoExtent` ROW(`mAdId` VARCHAR))
> with (
> 'connector.type' = 'kafka',
> 'connect
我使用blink planner来定义了下面的表
CREATE TABLE requests(
`rowtime` TIMESTAMP,
`requestId` VARCHAR,
`algoExtent` ROW(`mAdId` VARCHAR))
with (
'connector.type' = 'kafka',
'connector.version' = 'universal',
'connector.topic' = 'test_request',
'connector.startup-mode' = 'latest-offset
不行,
Caused by: org.apache.flink.table.api.ValidationException: Rowtime attribute
'_rowtime' is not of type SQL_TIMESTAMP.
在 2019-09-06 10:48:02，"Jark Wu" 写道：
>可能是因为你在 schema 中把 eventTime 声明成了 timestamp 类型，你可以声明成 long 试试。
>.field("_rowtime", Types.LONG())
>
>> 在 2019年9月5日，15:11，hb
可能是因为你在 schema 中把 eventTime 声明成了 timestamp 类型，你可以声明成 long 试试。
.field("_rowtime", Types.LONG())
> 在 2019年9月5日，15:11，hb <343122...@163.com> 写道：
>
> 实际应用中, 时间字段最常用的就是Long类型的毫秒时间戳, 难道这个不支持么.
实际应用中, 时间字段最常用的就是Long类型的毫秒时间戳, 难道这个不支持么.
在 2019-09-05 14:06:08，"pengcheng...@bonc.com.cn" 写道：
>FLINK 应该不能把输入的eventTime的long类型转成SQL_TIMESTAMP类型
>
>
>发件人： hb
>发送时间： 2019-09-05 14:24
>收件人： user-zh
>主题： Flink 1.9 Blink planner 时间字段问题
>代码里定义了kafka connectorDesc
代码里定义了kafka connectorDescriptor , 从kafka读取json格式数据, 生成Table
schema
.field("_rowtime", Types.SQL_TIMESTAMP())
.rowtime(
new Rowtime()
.timestampsFromField("eventTime")
.watermarksPeriodicBounded(1000))
kafka输入: {"eventTime": 10, "id":1,"name":"hb"} 会报错,
输入 {"eventTime":
1.9 还不支持 create view 语法。如果要注册一个 view，可以通过下面的办法：
Table table = tEnv.sqlQuery(“select * from T”)
tEnv.registerTable(“v1”, table);
然后你就可以在之后的sql 中直接查询 v1了
Best,
Jark
> 在 2019年8月28日，11:39，hb <343122...@163.com> 写道：
>
>
注册了T表后,创建view报错
tEnv.sqlUpdate(s"create view v1 as select * from T")
Exception in thread "main" org.apache.flink.table.api.TableException:
Unsupported node type SqlCreateView
是用错方法了,还是不支持
日，17:59，徐骁 写道：
> >
> > 这部分有文档吗,看了好几圈没看到
> >
> > hb <343122...@163.com> 于2019年8月26日周一 下午3:34写道：
> >
> >> 感谢,解决了, 指定 'connector.version' = '0.11' 就可以了.
> >> Blink SQL这方面的官方资料和文档好少啊,开发容易遇到问题.
> >>
> >> 在 2019-08-26 14:26:15，&quo
63.com> 于2019年8月26日周一 下午3:34写道：
>
>> 感谢,解决了, 指定 'connector.version' = '0.11' 就可以了.
>> Blink SQL这方面的官方资料和文档好少啊,开发容易遇到问题.
>>
>> 在 2019-08-26 14:26:15，"hb" <343122...@163.com> 写道：
>>> kafka版本是 kafka_2.11-1.1.0,
>>> 支持的kafka版本有哪些
>>
这部分有文档吗,看了好几圈没看到
hb <343122...@163.com> 于2019年8月26日周一 下午3:34写道：
> 感谢,解决了, 指定 'connector.version' = '0.11' 就可以了.
> Blink SQL这方面的官方资料和文档好少啊,开发容易遇到问题.
>
> 在 2019-08-26 14:26:15，"hb" <343122...@163.com> 写道：
> >kafka版本是 kafka_2.11-1.1.0,
> >支持的
Blink 合并到 flink 后，是作为一种 planner 的实现存在，所以文档是和 flink 在一起的。
如何使用 blink
planner，可以看这里：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html#create-a-tableenvironment
<https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html#cre
Blink 的文档应该都在 [1] 了，并没有跟着 Flink 版本变化而变化的意思呀（x
Best,
tison.
[1] https://github.com/apache/flink/blob/blink/README.md
rockey...@163.com 于2019年8月27日周二 上午10:18写道：
>
> hi,all
> flink1.9中关于blink的文档在哪看呀?找了半天找不到 0.0
>
>
> rockey...@163.com
> Have a good day !
>
hi,all
flink1.9中关于blink的文档在哪看呀?找了半天找不到 0.0
rockey...@163.com
Have a good day !
感谢,解决了, 指定 'connector.version' = '0.11' 就可以了.
Blink SQL这方面的官方资料和文档好少啊,开发容易遇到问题.
在 2019-08-26 14:26:15，"hb" <343122...@163.com> 写道：
>kafka版本是 kafka_2.11-1.1.0,
>支持的kafka版本有哪些
>在 2019-08-26 14:23:19，"pengcheng...@bonc.com.cn" 写道：
>>检查一下代码的kafka版本，可能是这
'format.derive-schema' = 'true'
>);
>
>
>Kafka 中的数据长这个样子：
>
>{"rowtime": "2018-03-12T08:00:00Z", "user_name": "Alice", "event": {
>"message_type": "WARNING", "message": "This is a warning."}}
>
&g
t;, "message": "This is a warning."}}
Best,
Jark
> 在 2019年8月26日，09:52，hb <343122...@163.com> 写道：
>
> flink1.9 blink planner table 使用ddl 语句,创建表不成功,不知道是少了 定义属性还是
> 需要实现TableSourceFactory,还是其他什么.
>
>
> 提示:
> Exception in thread &q
flink1.9 blink planner table 使用ddl 语句,创建表不成功,不知道是少了 定义属性还是
需要实现TableSourceFactory,还是其他什么.
提示:
Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL
validation failed. findAndCreateTableSource fail
抱歉，没看懂你的问题
1. group id 和 offset 有什么关系？
2. "在kafka 里看不到group id" 指什么？
雷水鱼 于2019年6月24日周一 下午5:05写道：
> 现象
> 使用这个pom ,在kafka 里看不到group id
>
> com.alibaba.blink
> flink-streaming-scala_2.11
> blink-3.2.2
>
>
> org.slf4j
> slf4j-api
>
>
>
现象
使用这个pom ,在kafka 里看不到group id
com.alibaba.blink
flink-streaming-scala_2.11
blink-3.2.2
org.slf4j
slf4j-api
com.alibaba.blink
flink-connector-kafka-0.11_2.11
blink-3.2.0
org.slf4j
slf4j-api
使用开源版本，可以看到在kafka 看到group id
org.apache.flink
flink-streaming-java_2.12
你先试试把HashJoin这个算子禁用看看，TableConfig里添加这个配置
sql.exec.disabled-operators: HashJoin
Best,
Kurt
On Tue, May 28, 2019 at 3:23 PM bigdatayunzhongyan <
bigdatayunzhong...@aliyun.com> wrote:
> 感谢 @Kurt Young 大神的回复，报错信息在附件。谢谢！
>
>
> 在2019年05月28日 14:10，Kurt Young 写道：
>
>
org.apache.flink.runtime.io.network.netty.exception.RemoteTransportException:
Fatal error at remote task manager '/xx:14941'.
at
org.apache.flink.runtime.io.network.netty.CreditBasedPartitionRequestClientHandler.decodeMsg(CreditBasedPartitionRequestClientHandler.java:276)
at
大家好，我使用blink集群访问带认证的kafka，按照文档上的方式配置flink-conf.yaml文件，配置如下：
security.kerberos.login.use-ticket-cache: false
security.kerberos.login.keytab: /home/kafka/kafka.keytab
security.kerberos.login.principal: kafka/slave2@MYCDH
security.kerberos.login.contexts: Client,KafkaClient
blink集群总共三台节点，把配置文件依次
共有 148 项搜索結果，以下是第 1 - 100 matches
Mail list logo
