In the future,the community plans to extend its functionality by providing a REST-based SQL

2020-08-06 Thread air23
Limitations & Future The current SQL Client only supports embedded mode. In the future, the community plans to extend its functionality by providing a REST-based SQL Client Gateway, see more in FLIP-24 and FLIP-91. 你好 在官方文档上看到了。请问这个还在计划中。是一种rest sql web客户端吗?

Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

2020-08-06 Thread Yu Li
@鱼子酱 请问同样的作业,都使用RocksDB增量checkpoint,在1.8.2版本和1.11.1版本下的表现是否一致?还是说只有1.11.1版本下增量大小会单调增加? @op 类似的问题,请问使用FsStateBackend,是否在不同Flink版本下测试过?表现是否一致? 上述问题主要想确认一下新版本的表现和旧版本是否一致,如果不一致则有可能是新版本中引入的bug。谢谢。 Best Regards, Yu On Thu, 6 Aug 2020 at 13:52, Congxian Qiu wrote: > Hi > 我这边没有看到相关的附件,不确定是邮件客户端的

?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

2020-08-06 Thread op
  1.10?? --  -- ??: "user-zh"

Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

2020-08-06 Thread Yu Li
看到生产上使用的还是1.8.2版本,请问同样的作业使用1.8.2的表现是怎样的? Best Regards, Yu On Thu, 6 Aug 2020 at 16:29, op <520075...@qq.com> wrote: > 感谢回答  > 我之前用1.10也有同样的问题 > > > > > -- 原始邮件 -- > 发件人: > "user-zh" >

flink-OOME_Java heap space

2020-08-06 Thread Roc Marshal
Hi, all. 请教如下问题。 情景:jdk-oracle-1.8, flink-realse-1.10.0. flink-on-yarn的session模式。数据读取kafka.进行sql运算。 JVM Heap Size:638 MB Flink Managed Memory:635 MB,出现异常如下。 statebackend为filesystem->hadoop 任务直接从deploying->feailed. 其他参考信息如下图片。 可以给些建议吗? 谢谢。

flink timerservice注册的timer定时器只有少部分触发

2020-08-06 Thread 钟昊(zhonghao01)-商业智能部
hi,everyone: 由于业务需求,需要对一条流中的数据分4个步骤处理,处理完第一步后,再过15分钟进行第二步,第二步完成后再过30分钟处理第三步,然后60分钟后进行第四步,我这边通过timerservice设置定时器的方式进行的实现,但是运行过程中发现第二步15分钟的定时器只有非常少部分消息到时间触发了定时任务onTimer中的逻辑,部分代码实现如下: DataStream dataStream = env.addSource(…); final OutputTag> missPingback = …; final OutputTag> level1Tag = …; final

Re: flink timerservice注册的timer定时器只有少部分触发

2020-08-06 Thread shizk233
具体原因不太清楚,但建议使用context.timeService().currentEventTime()和currentProcessingTime()来获取当前的时间。 排查方法的话,不知道你有没有做算子的单元测试,如果还没有的话可以通过flink test util[1][2]做单元测试来debug排查, 可以比较明确的观察到timeService上的Timer状态。 [1] https://flink.apache.org/news/2020/02/07/a-guide-for-unit-testing-in-apache-flink.html [2] https://ci.a

flink sql 添加全局唯一id 字段

2020-08-06 Thread drewfranklin
Hello all . 想请教下。flink sql 想添加一个全局唯一的自增数据,有什么好的方法吗?

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

2020-08-06 Thread Yang Wang
Hi Eleanore, >From my experience, collecting the Flink metrics to prometheus via metrics collector is a more ideal way. It is also easier to configure the alert. Maybe you could use "fullRestarts" or "numRestarts" to monitor the job restarting. More metrics could be find here[2]. [1]. https://ci.

请教:时间属性字段传递问题,有办法解决吗?

2020-08-06 Thread Tianwang Li
我向做两次的窗口计算。 1、第一次5分钟窗口。 2、第二次10分钟窗口,使用的上一次窗口的结果。 我尝试了发生了异常, Window aggregate can only be defined over a time attribute column, but TIMESTAMP(3) encountered. 请问有什么办法可以解决吗? 我希望是一个窗口计算后面可以再接一个窗口计算。 第一次计算: CREATE VIEW tmp_5min AS SELECT max(rowtime) as rowtime, TUMBLE_START(`rowtime`, INTERV

Re: 请教:时间属性字段传递问题,有办法解决吗?

2020-08-06 Thread Tianwang Li
知道了,使用TUMBLE_ROWTIME HOP_ROWTIME SESSION_ROWTIME 可以传递了。 Tianwang Li 于2020年8月6日周四 下午9:12写道: > > 我向做两次的窗口计算。 > 1、第一次5分钟窗口。 > 2、第二次10分钟窗口,使用的上一次窗口的结果。 > > > 我尝试了发生了异常, Window aggregate can only be defined over a time attribute > column, but TIMESTAMP(3) encountered. > > 请问有什么办法可以解决吗? > 我希望是一个窗口计算

Re: flink timerservice注册的timer定时器只有少部分触发

2020-08-06 Thread jsqf
试试 重写 onTimer 方法 可以参考 https://github.com/JSQF/flink10_learn/blob/master/src/main/scala/com/yyb/flink10/DataStream/ProcessFunction/OperatorProcessFunctionDemo.java -- Sent from: http://apache-flink.147419.n8.nabble.com/

回复:请教:时间属性字段传递问题,有办法解决吗?

2020-08-06 Thread kcz
可以再解释一下吗?还是没有看太懂是哪里出错,以及为什么那样就可以解决问题。 -- 原始邮件 -- 发件人: Tianwang Li

Re: 请教:时间属性字段传递问题,有办法解决吗?

2020-08-06 Thread Benchao Li
可以参考这里的文档[1] [1] https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/queries.html#selecting-group-window-start-and-end-timestamps kcz <573693...@qq.com> 于2020年8月6日周四 下午11:04写道: > 可以再解释一下吗?还是没有看太懂是哪里出错,以及为什么那样就可以解决问题。 > > > > > > -- 原始邮件 -- > 发件人:

Re: stream sink hive 在hdfs ha模式下

2020-08-06 Thread Jark Wu
可以提供下完整的异常栈吗?以及使用的版本号和代码。 On Mon, 3 Aug 2020 at 13:32, air23 wrote: > hi 你好 > 我这边集群是cdh的。 配置了hdfs ha模式 > 在使用 kafka sink 到hive 时候找不到nameservices > java.lang.IllegalArgumentException: java.net.UnknownHostException: > nameservices1 > > > 请问 在ha模式下 应该怎么配置

Re: flink table api 中数据库字段大小写问题

2020-08-06 Thread Jark Wu
Hi,你的 alarm_history_data 表的 postgres 里面的 schema是 public 么? 如果不是的话,你需要显式地把 schema 名字声明到表名上,例如 schema 为 sch1,那么 FlinkSQL 里需要定义成 CREATE TABLE `sch1.alarm_history_data` ( ... ) with (...); select * from `sch1.alarm_history_data`; Best, Jark On Tue, 4 Aug 2020 at 14:58, lgs <9925...@qq.com> wrote:

Re: Behavior for flink job running on K8S failed after restart strategy exhausted

2020-08-06 Thread Eleanore Jin
Hi Yang, Thanks a lot for the information! Eleanore On Thu, Aug 6, 2020 at 4:20 AM Yang Wang wrote: > Hi Eleanore, > > From my experience, collecting the Flink metrics to prometheus via metrics > collector is a more ideal way. It is > also easier to configure the alert. > Maybe you could use "

Re: flink1.11 es connector

2020-08-06 Thread Jark Wu
目前社区由一个 issue 在跟进 es source ,可以关注一下: https://issues.apache.org/jira/browse/FLINK-16713 你想要的时态表查询,是想当成维表查询吗(lookup)? Best, Jark On Thu, 6 Aug 2020 at 11:20, Dream-底限 wrote: > hi > > 我们这面想用es做时态表查询,但是flink没有报漏es源连接器,需要自己实现一个,请问大家对es做时态表这件事感觉靠谱吗(ps:之所以不用hbase是因为hbase的rowkey设计以及可能维护的二级索引比较麻烦,但hbase

Re: flink sql 添加全局唯一id 字段

2020-08-06 Thread Jark Wu
可以依赖外部的全局唯一自增 id 服务,包装成一个 udf 在 flink sql 中使用。 在 flink sql 中,目前好像还没法提供这种功能。 Best, Jark On Thu, 6 Aug 2020 at 18:27, drewfranklin wrote: > Hello all . 想请教下。flink sql 想添加一个全局唯一的自增数据,有什么好的方法吗? > >

Sql-client的checkpoint问题

2020-08-06 Thread king
您好,flink1.11.0,请问, 1.sql-client 如何设置checkpoint时间(生成周期),在做file streaming时候hdfs文件一直In-progress处状态,不能Finalized 2.之前在flink-site.yaml文件中设置了checkpoint,systemfile类型,只生成了另外两个目录,没有生成chk,望解答,谢谢 以上问题在编程方式下无问题。 | | king | | 邮箱:kingjinhe2...@163.com | Signature is customized by Netease Mail Master

Re: stream sink hive 在hdfs ha模式下

2020-08-06 Thread abc15606
可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录 发自我的iPhone > 在 2020年8月7日,00:16,Jark Wu 写道: > > 可以提供下完整的异常栈吗?以及使用的版本号和代码。 > >> On Mon, 3 Aug 2020 at 13:32, air23 wrote: >> >> hi 你好 >> 我这边集群是cdh的。 配置了hdfs ha模式 >> 在使用 kafka sink 到hive 时候找不到nameservices >> java.lang.IllegalArgumentEx

转发:Sql-client的checkpoint问题

2020-08-06 Thread king
抱歉,不是flink-site.yaml是flink-conf.yaml | | king | | 邮箱:kingjinhe2...@163.com | Signature is customized by Netease Mail Master - 转发的邮件 - 发件人: king 发送日期: 2020年08月07日 08:23 收件人: user-zh 主题: Sql-client的checkpoint问题 您好,flink1.11.0,请问, 1.sql-client 如何设置checkpoint时间(生成周期),在做file stre

flink-sql-connector-elasticsearch6_2.11_1.10.0 与 flink-connector-elasticsearch6_2.11_1.10.0 并存问题

2020-08-06 Thread 费文杰
HI: 使用的flink1.10环境,因为使用sql-client,我在flink/lib目录下放置了flink-sql-connector-elasticsearch6_2.11_1.10.0.jar,因为同事有直接在代码里写的sink到elasticsearch,所以他引入了flink-connector-elasticsearch6_2.11_1.10.0.jar, 这样就会导致他的任务报错。为了重现问题,我在本机同时引入了这两个依赖包: org.apache.httpcomponents httpclient 4.5.2

回复:flink-sql-connector-elasticsearch6_2.11_1.10.0 与 flink-connector-elasticsearch6_2.11_1.10.0 并存问题

2020-08-06 Thread JasonLee
Hi 只引入-sql那个包就行了 代码也应该是可以直接用这个包的 | | JasonLee | | 邮箱:17610775...@163.com | Signature is customized by Netease Mail Master 在2020年08月07日 09:26,费文杰 写道: HI: 使用的flink1.10环境,因为使用sql-client,我在flink/lib目录下放置了flink-sql-connector-elasticsearch6_2.11_1.10.0.jar,因为同事有直接在代码里写的sink到elasticsearch,所以他引入了

Re: flink1.11 es connector

2020-08-06 Thread Dream-底限
hi、 是的,大佬感觉用es做维表靠谱吗,这样就不用维护hbase二级索引了(或者用es存hbase二级索引,hbase存数据,但还是要用es充当一个维度) Jark Wu 于2020年8月7日周五 上午12:34写道: > 目前社区由一个 issue 在跟进 es source ,可以关注一下: > https://issues.apache.org/jira/browse/FLINK-16713 > 你想要的时态表查询,是想当成维表查询吗(lookup)? > > Best, > Jark > > On Thu, 6 Aug 2020 at 11:20, Dream-底限 wro

Re: flink-sql-connector-elasticsearch6_2.11_1.10.0 与 flink-connector-elasticsearch6_2.11_1.10.0 并存问题

2020-08-06 Thread Yangze Guo
Hi, flink-sql-connector-elasticsearch6_2.11已经打进了es的相关依赖,直接非provided引入应该是没有问题的,您说的报一样的错是错误栈完全相同么?在ide里面直接跑还是提交任务? Best, Yangze Guo On Fri, Aug 7, 2020 at 9:32 AM JasonLee <17610775...@163.com> wrote: > > Hi > > > 只引入-sql那个包就行了 代码也应该是可以直接用这个包的 > > > | | > JasonLee > | > | > 邮箱:17610775...@163.com

flinksql写出到kafka

2020-08-06 Thread leiyanrui
flink1.10通过sql的形式连接kafka,处理数据写出到kafka,然后我里面大概是10个这样的逻辑,insert into sink select ...,10个sql都是直接sink的,运行几分钟就报错,org.apache.flink.kafka.shaded.org.apache.kafka.common.errors.TimeoutException: Topic boss.nlp.hbase.feature-sync-60 not present in metadata after 6 ms. 但是我吧这个10个select语句union后在sink到kafka,

Re: stream sink hive 在hdfs ha模式下

2020-08-06 Thread Yang Wang
对hive不是很清楚,但报java.net.UnknownHostException: nameservices1这种错 一般是因为没有加载到HDFS的配置,core-site.xml和hdfs-site.xml 因为nameservices1本质上不是一个host,而是在hdfs-site.xml里面定义的,通过它来找nn1、nn2的地址 Best, Yang 于2020年8月7日周五 上午8:34写道: > 可以在flink-conf.yaml中加入 env.hadoop.conf.dir: 指向hadooo配置文件目录 > > 发自我的iPhone > > > 在 2020年

Re: stream sink hive 在hdfs ha模式下

2020-08-06 Thread Rui Li
是的,这个是因为HDFS的配置没读到,如果设置了HADOOP_CONF_DIR环境变量我们也会自动去这个目录下读core-site、hdfs-site这些文件的。 On Fri, Aug 7, 2020 at 10:16 AM Yang Wang wrote: > 对hive不是很清楚,但报java.net.UnknownHostException: nameservices1这种错 > 一般是因为没有加载到HDFS的配置,core-site.xml和hdfs-site.xml > 因为nameservices1本质上不是一个host,而是在hdfs-site.xml里面定义的,通过它

转发:Sql-client的checkpoint问题

2020-08-06 Thread king
Checkpoint只生成了shared和taskowned目录,没有chk,望解答,谢谢 | | king | | 邮箱:kingjinhe2...@163.com | Signature is customized by Netease Mail Master - 转发的邮件 - 发件人: king 发送日期: 2020年08月07日 09:05 收件人: user-zh 主题: 转发:Sql-client的checkpoint问题 抱歉,不是flink-site.yaml是flink-conf.yaml | | king | | 邮箱:ki

Re: flink-sql-connector-elasticsearch6_2.11_1.10.0 与 flink-connector-elasticsearch6_2.11_1.10.0 并存问题

2020-08-06 Thread Leonard Xu
Hi 你这种场景使用sql jar就可以了,sql jar 里面包含了 es connector 相关的依赖,两者确实不能共存,因为sql jar 对 es的依赖做了shade,而 es connector jar 没有对es的依赖做shade. 另外,你的异常栈应该是一个已知的lambda表达式序列化问题[1], 在1.11.0已经修复,可以升级1.11.1试下? Best Leonard [1] https://issues.apache.org/jira/browse/FLINK-18006

Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大

2020-08-06 Thread chengyanan1...@foxmail.com
HI: 请问这个问题有合理的解释吗,持续关注中。。。 发件人: 鱼子酱 发送时间: 2020-08-03 13:50 收件人: user-zh 主题: Re: flink1.10.1/1.11.1 使用sql 进行group 和 时间窗口 操作后 状态越来越大 hi,您好: 我改回增量模式重新收集了一些数据: 1、数据处理速度:3000条每秒,是测试环境的,压力比较稳定,几乎没有波动 2、checkpoint是interval设置的是5秒 3、目前这个作业是每分钟一个窗口 4、并行度设置的1,使用on-yarn模式 刚启动的时候,如下:

Re: stream sink hive 在hdfs ha模式下 java.net.UnknownHostException: nameservices1

2020-08-06 Thread chengyanan1...@foxmail.com
注册hiveCatalog的时候 将 hdfs-site.xml文件 放在hiveConfDir下即可 chengyanan1...@foxmail.com 发件人: Yang Wang 发送时间: 2020-08-07 10:15 收件人: user-zh 主题: Re: stream sink hive 在hdfs ha模式下 对hive不是很清楚,但报java.net.UnknownHostException: nameservices1这种错 一般是因为没有加载到HDFS的配置,core-site.xml和hdfs-site.xml 因为nameservices1本质上不是一

使用StreamTableEnvironment.createTemporarySystemFunction注册UD(T)F异常

2020-08-06 Thread zz zhang
执行如下代码提示异常,改为旧方法StreamTableEnvironment.registerFunction执行正常, Flink version: 1.11.1 package com.test; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.table.api.EnvironmentSettings; import org.apache.flink.table.api.bridge.java.StreamTableEnviro

flinksql jdbc异步维表

2020-08-06 Thread todd
JdbcDynamicTableSource默认以同步方式加载JDBC数据,未来是否有计划提供异步接口,用户可以自主选择第三方异步框架。 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flinksql jdbc异步维表

2020-08-06 Thread Leonard Xu
Hi 社区已经有一个issue在跟进了, 你可以关注下 Best Leonard [1] https://issues.apache.org/jira/browse/FLINK-14902 > 在 2020年8月7日,11:03,todd 写道: > > JdbcDynamicTableSource默认以同步方式加载JDBC数据,未来是否有计划提供异步接口,用户可以自主选择第三方异步框架。 > > > > -- > Sent from: http://apache-fl

Re: Kerberos 动态参数认证问题

2020-08-06 Thread caozhen
我的解决方式是改下 flink 的源码。 把参数 CliFrontend的args 传给 FlinkYarnSessionCli 类。并将args中的这些kv赋给configuration。 再重新打dist包 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Flink 1.10 on Yarn

2020-08-06 Thread xuhaiLong
Hi 场景:1 tm 三个slot,run了三个job 三个job 运行的时候 出现了 ck 过程中空指针异常,导致任务一致重启。最终导致`Metaspace` 空间占满,出现 `java.lang.OutOfMemoryError: Metaspace. The metaspace out-of-memory error has occurred. This can mean two things: either the job requires a larger size of JVM metaspace to load classes or there is a cl

Re: flink timerservice注册的timer定时器只有少部分触发

2020-08-06 Thread Congxian Qiu
Hi 对于 event time 的处理来说,不建议注册 timer 的时候使用 System.currentTimeMillis() 这种系统时间,这两个时间可能会不一样,可以使用 TimerService 中的 currentWatermark 表示当前的 event time Best, Congxian jsqf 于2020年8月6日周四 下午9:53写道: > 试试 重写 onTimer 方法 > 可以参考 > > https://github.com/JSQF/flink10_learn/blob/master/src/main/scala/com/yyb/fli

Re: Flink 1.10 on Yarn

2020-08-06 Thread Yangze Guo
日志没有贴成功,taskmanager.memory.jvm-metaspace.size目前是默认配置么? Best, Yangze Guo On Fri, Aug 7, 2020 at 11:38 AM xuhaiLong wrote: > > > > Hi > > > 场景:1 tm 三个slot,run了三个job > > > 三个job 运行的时候 出现了 ck 过程中空指针异常,导致任务一致重启。最终导致`Metaspace` 空间占满,出现 > `java.lang.OutOfMemoryError: Metaspace. The metaspace out-of-me

Flink 1.11.1 on k8s 如何配置hadoop

2020-08-06 Thread RS
Hi, Flink 1.11.1 想运行到K8S上面, 使用的镜像是flink:1.11.1-scala_2.12, 按照官网上面介绍的, 部署session cluster, jobmanager和taskmanager都启动成功了 然后提交任务的时候会报错: Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies. at org.apache.flink.core.fs.UnsupportedScheme

flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread leiyanrui
使用flinksql连接kafka,kafka的数据格式内部有个字段叫time,我在create table的时候将time字段加了反单引号还是不行,报错,有什么别的方法吗 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: Flink 1.11.1 on k8s 如何配置hadoop

2020-08-06 Thread caozhen
顺手贴一下flink1.11.1的hadoop集成wiki: https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/hadoop.html 根据官网说不再提供flink-shaded-hadoop-2-uber。并给出以下两种解决方式 1、建议使用HADOOP_CLASSPATH加载hadoop依赖 2、或者将hadoop依赖放到flink客户端lib目录下 *我在用1.11.1 flink on yarn时,使用的是第二种方式,下载hadoop-src包,将一些常用依赖拷贝到lib目录下

Re:Re: Flink 1.10 on Yarn

2020-08-06 Thread chenkaibit
hi xuhaiLong,看日志发生的 checkpoint nullpointer 是个已知的问题,具体可以查看下面两个jira。 你用的jdk版本是多少呢?目前发现使用 jdk8_40/jdk8_60 + flink-1.10 会出现 checkpoint nullpointer,可以把jdk升级下版本试一下 https://issues.apache.org/jira/browse/FLINK-18196 https://issues.apache.org/jira/browse/FLINK-17479 在 2020-08-07 12:50:23,"xuhaiLong" 写

Re: 【PyFlink】对于数据以Csv()格式写入kafka报错,以及使用python udf时无法启动udf

2020-08-06 Thread lgs
Hi Jincheng, 我现在碰到同样的问题,udf运行的时候会打印这样的log: 2020-08-07 03:06:45,920 INFO org.apache.beam.runners.fnexecution.environment.ProcessEnvironmentFactory [] - Still waiting for startup of environment '/usr/local/lib64/python3.6/site-packages/pyflink/bin/pyflink-udf-runner.sh' for worker id 1-1 然后过一阵就pyfl

Re: In the future,the community plans to extend its functionality by providing a REST-based SQL

2020-08-06 Thread Sebastian Liu
目前社区的flink-sql-client module的确只支持embedded mode,目前一个client对应一个session以及executor来提交管理sql job, session相关代码在module的gateway目录下。这块的方向应该是会将gateway 发展成一个独立的restful web service(任务网关), 本质是一个session manager, serve多个client的sql statement请求. 从我的理解看,client的gateway mode,应该是会先启动内置的gateway service,然后client向gateway提交

Re: flink table api 中数据库字段大小写问题

2020-08-06 Thread lgs
schema是public 问题在这里:ERROR: column "recordid" of relation "alarm_history_data" does not exist 数据库表里面是“recordId”,这里的提示变成了“recordid” -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink1.11 DDL定义kafka source报错

2020-08-06 Thread 阿华田
代码如下 | | 阿华田 | | a15733178...@163.com | 签名由网易邮箱大师定制

回复:flink1.11 DDL定义kafka source报错

2020-08-06 Thread 阿华田
错误信息: Exception in thread "main" java.lang.IllegalStateException: No operators defined in streaming topology. Cannot generate StreamGraph. at org.apache.flink.table.planner.utils.ExecutorUtils.generateStreamGraph(ExecutorUtils.java:47) at org.apache.flink.table.planner.delegation.StreamExecutor.

Re: flink1.11 DDL定义kafka source报错

2020-08-06 Thread chengyanan1...@foxmail.com
你好 : 图片是看不到的,建议直接粘贴文本再发送一次 chengyanan1...@foxmail.com 发件人: 阿华田 发送时间: 2020-08-07 13:49 收件人: user-zh 主题: flink1.11 DDL定义kafka source报错 代码如下 阿华田 a15733178...@163.com 签名由 网易邮箱大师 定制

Re: 回复:flink1.11 DDL定义kafka source报错

2020-08-06 Thread chengyanan1...@foxmail.com
你好: 你使用的是Flink 1.11版本,但是你的建表语句还是用的老版本,建议更换新版本的建表语句后再试一下 参考如下: https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html chengyanan1...@foxmail.com 发件人: 阿华田 发送时间: 2020-08-07 14:03 收件人: user-zh@flink.apache.org 主题: 回复:flink1.11 DDL定义kafka source

?????? flink1.10.1/1.11.1 ????sql ????group ?? ???????? ?????? ????????????

2020-08-06 Thread op
Hi  1.   ??minibatchFsStateBackendbug?? val config = tConfig.getConfiguration() config.setString("table.exec.mini-batch.enabled", "true") config.setString("table.exec.mini-batch.allow-latency", "3s")

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread Benchao Li
可以提供一下你使用的Flink版本以及DDL么? leiyanrui <1150693...@qq.com> 于2020年8月7日周五 上午11:58写道: > 使用flinksql连接kafka,kafka的数据格式内部有个字段叫time,我在create > table的时候将time字段加了反单引号还是不行,报错,有什么别的方法吗 > > > > > -- > Sent from: http://apache-flink.147419.n8.nabble.com/ -- Best, Benchao Li

怎么把自己从list中取消,我想换个邮箱

2020-08-06 Thread 何宗谨

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread leiyanrui
CREATE TABLE table1 ( bg BIGINT, user_source BIGINT, bossid BIGINT, geekid BIGINT, qq_intent BIGINT, phone_intent BIGINT, wechat_intent BIGINT, `time` BIGINT, t as to_timestamp(from_unixtime(__ts,'-MM-dd HH:mm:ss')), watermark for t as t - interval '5'

Re: 怎么把自己从list中取消,我想换个邮箱

2020-08-06 Thread Benchao Li
Hi, 取消订阅中文用户邮件列表,可以发送邮件到:user-zh-unsubscr...@flink.apache.org 更多邮件列表信息,可以参考[1] [1] https://flink.apache.org/community.html#mailing-lists 何宗谨 于2020年8月7日周五 下午2:14写道: > > > > -- Best, Benchao Li

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread Benchao Li
使用的是Flink哪个版本呢?以及最好也提供一下异常信息 leiyanrui <1150693...@qq.com> 于2020年8月7日周五 下午2:18写道: > CREATE TABLE table1 ( > bg BIGINT, > user_source BIGINT, > bossid BIGINT, > geekid BIGINT, > qq_intent BIGINT, > phone_intent BIGINT, > wechat_intent BIGINT, > `time` BIGINT, >

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread leiyanrui
1.10 -- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread leiyanrui
-- Sent from: http://apache-flink.147419.n8.nabble.com/

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread Benchao Li
1.10的确是存在一个这样的bug[1],这个已经在1.10.1和1.11.0中修复了,可以尝试下1.10.1或者1.11.1版本。 [1] https://issues.apache.org/jira/browse/FLINK-16068 leiyanrui <1150693...@qq.com> 于2020年8月7日周五 下午2:32写道: > 1.10 > > > > > -- > Sent from: http://apache-flink.147419

Re: flinksql连接kafka,数据里面有个字段名字是time

2020-08-06 Thread leiyanrui
好的 我去看下 谢谢哈 -- Sent from: http://apache-flink.147419.n8.nabble.com/

flink-jdbc_2.11:1.11.1依赖 找不到

2020-08-06 Thread lydata
flink-jdbc_2.11:1.11.1依赖 在 https://mvnrepository.com/ 找不到 ,是不是没有上传?

Re:flink-jdbc_2.11:1.11.1依赖 找不到

2020-08-06 Thread RS
Hi, 找下这种的 flink-connector-jdbc_2.12-1.11.1.jar 在 2020-08-07 14:47:29,"lydata" 写道: >flink-jdbc_2.11:1.11.1依赖 在 https://mvnrepository.com/ 找不到 ,是不是没有上传?