回复: StreamTableEnvironment.registerDatastream() 开放用户自定义的schemaDescriptionh和DeserializationSchema

2020-01-03 文章 aven . wu
Hi Jingsong 感谢指点,使用DataStream 解决了我目前的问题。 对于RowTypeInfo的设置可能有些隐晦(指在创建Datastream时就需要指定)。 希望之后对tableenv.registerStream API能有更好更直接的方式来设置RowTypeInfo以及一些相关可能的信息。(包括注册Datastream, Datastream, Datastream) Best, Aven 发件人: JingsongLee 发送时间: 2019年12月31日 17:03 收件人: user-zh 主题: Re: StreamTableEnvironment.reg

Re:Re: Re: SQL层应用维表join jdbc的时候,请问怎么动态感知维表数据的变化呢?

2020-01-03 文章 amenhub
hi BenChao, 正是您所说的计算列特性,期待1.10版本的正式发布!非常感谢! 祝好! 在 2020-01-04 15:35:24,"Benchao Li" 写道: >hi 世民, > >这个错误的意思是你的stream table里面需要有一个处理时间字段,目前为止我大概了解的有这么几种方法可以产生: >1. 如果是从DataStream注册为Table的话,可以用: >https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes

Re: Re: SQL层应用维表join jdbc的时候,请问怎么动态感知维表数据的变化呢?

2020-01-03 文章 Benchao Li
hi 世民, 这个错误的意思是你的stream table里面需要有一个处理时间字段,目前为止我大概了解的有这么几种方法可以产生: 1. 如果是从DataStream注册为Table的话,可以用: https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/time_attributes.html#during-datastream-to-table-conversion 2. 如果是用TableSource注册的Table的话,可以用: https://ci.apache.org/proj

Re:Re: SQL层应用维表join jdbc的时候,请问怎么动态感知维表数据的变化呢?

2020-01-03 文章 amenhub
hi Benchao, 我明白你的意思,我认真在看官方文档学习flink相关知识,知道目前temporal table join只支持processing-time, 但是当我使用给出的join sql例子写法时,报出这个异常,[ Column 'proctime' not found in table 'o' ],这个问题是传统的通过别名 [ o ]去找 [ o ]表中的proctime列,但是显然表中是没有proctime列的, 请问我该怎么解决这个问题呢?我应该去了解熟悉哪方面的知识?Mysql支持ANSI-2011标准的Temporal table语义吧,请赐教~ 祝

Re: SQL层应用维表join jdbc的时候,请问怎么动态感知维表数据的变化呢?

2020-01-03 文章 Benchao Li
hi 世民, 邮件列表里不支持直接发送图片,你可以用一些图床工具来发送图片。 根据你的描述,我猜测你应该是join维表的语法写的不对,写成了普通的join的方式。这种情况下,会把jdbc的表解析成`JDBCInputFormat`,一次性读取全部数据。 维表join的SQL写法如下所示: SELECT o.amout, o.currency, r.rate, o.amount * r.rateFROM Orders AS o* JOIN LatestRates FOR SYSTEM_TIME AS OF o.proctime AS r * ON r.currency = o.

SQL层应用维表join jdbc的时候,请问怎么动态感知维表数据的变化呢?

2020-01-03 文章 刘世民
hi~ 如图所示,在做kafka和jdbc join的时候,jdbc数据全量加载并为Finished状态,这种情况下请问怎么感知jdbc表的数据更新呢?还是我哪里的配置不对,还请赐教 小白敬上~

Re: 使用influxdb作为flink metrics reporter

2020-01-03 文章 Yun Tang
Hi 张江 * Retention policy 需要现在InfluxDB端创建,InfluxDBReporter不会自行创建不存在的 retention policy. * kafka的一些metrics在使用influxDB reporter的时候,会出现一些cast exception,可以参考 [1],在Flink-1.9 版本下可以忽略这些异常。 [1] https://issues.apache.org/jira/browse/FLINK-12147 祝好 唐云 From: 张江 Se

Re: 单个算子处理一条数据的真实处理时间

2020-01-03 文章 Forward Xu
你好,张江, 前面两个指标的获取取决于你flink程序中是否使用了kafkaSource,后面4个指标是flink提供的指标里是没有的。除非自己扩展实现flink metric。自定义实现可参照: https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/metrics.html forward 张江 于2020年1月3日周五 下午9:28写道: > 大家好, > > 之前问过类似的问题,可能表达不太清楚。向各位大佬再请教一下。 > > 有人知道怎么获取以下的flink metrics么: > > > 这个是f

单个算子处理一条数据的真实处理时间

2020-01-03 文章 张江
大家好, 之前问过类似的问题,可能表达不太清楚。向各位大佬再请教一下。 有人知道怎么获取以下的flink metrics么: 这个是flink forward asia 2019会议上马庆祥老师讲的flink动态资源调整里的内容。但我自己在flink官网上没有看到metrics有这个指标信息。 谢谢。 祝好,

使用influxdb作为flink metrics reporter

2020-01-03 文章 张江
大家好, 我按照官网所介绍的flink metrics reporter设置,选用了influxdb,进行了如下设置: metrics.reporter.influxdb.class:org.apache.flink.metrics.influxdb.InfluxdbReportermetrics.reporter.influxdb.host:localhostmetrics.reporter.influxdb.port:8086metrics.reporter.influxdb.db:flinkmetrics.reporter.influxdb.username:flink-metri