你配置HADOOP_HOME和HADOOP_CLASSPATH这两个环境变量了吗？
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CLASSPATH=`hadoop classpath`
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
Zhou Zach 于2020年6月16日周二 下午2:53写道：
> flink/lib/下的jar：
> flink-connector-hive_2.11-1.10.0.jar
> flink-dist_2.11-1.10
6.14号的meetup中讲的动态 Table 属性很清楚，附个链接：
https://developer.aliyun.com/live/2894?accounttraceid=07deb589f50c4c1abbcbed103e534316qnxq
，大概在04:17:00左右。
Kurt Young 于2020年6月16日周二 下午12:12写道：
> table hint的语法是紧跟在你query中访问某张表的时候，所以我理解并不会有 ”这个动态参数作用在哪张表“ 上的疑问吧？
>
> Best,
> Kurt
>
>
> On Tue, Jun 16, 2020 at 10:
在/etc/profile下，目前只加了
export HADOOP_CLASSPATH=`hadoop classpath`
我是安装的CDH，没找到sbin这个文件。。
在 2020-06-16 15:05:12，"王松" 写道：
>你配置HADOOP_HOME和HADOOP_CLASSPATH这两个环境变量了吗？
>
>export HADOOP_HOME=/usr/local/hadoop-2.7.2
>export HADOOP_CLASSPATH=`hadoop classpath`
>export PATH=$HADOOP_HOME/bin:
那你在命令行执行：hadoop classpath，有hadoop的classpath输出吗？
Zhou Zach 于2020年6月16日周二 下午3:22写道：
>
>
>
>
>
>
> 在/etc/profile下，目前只加了
> export HADOOP_CLASSPATH=`hadoop classpath`
> 我是安装的CDH，没找到sbin这个文件。。
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-06-16 15:05:12，"王松" 写道：
> >你配置HADOOP_HOME和HADOOP_CLASSPATH这两个环境变量了吗？
> >
> >e
你这个看着hadoop兼容导致的问题，ContentSummary这个类是从hadoop 2.8以后发生了
变化。所以你需要确认你的lib下带的flink-shaded-hadoop与hdfs集群的版本是兼容的
Best,
Yang
Zhou Zach 于2020年6月16日周二 下午2:53写道：
> flink/lib/下的jar：
> flink-connector-hive_2.11-1.10.0.jar
> flink-dist_2.11-1.10.0.jar
> flink-jdbc_2.11-1.10.0.jar
> flink-json-1.10.0.jar
> f
I guess it's because the ES version specified in the job is `6`, however, the
jar used is `5`.
> 在 2020年6月16日，下午1:47，jack 写道：
>
> 我这边使用的是pyflink连接es的一个例子，我这边使用的es为5.4.1的版本，pyflink为1.10.1，连接jar包我使用的是
> flink-sql-connector-elasticsearch5_2.11-1.10.1.jar，kafka，json的连接包也下载了，连接kafka测试成功了。
> 连接es的时候
有输出的
在 2020-06-16 15:24:29，"王松" 写道：
>那你在命令行执行：hadoop classpath，有hadoop的classpath输出吗？
>
>Zhou Zach 于2020年6月16日周二 下午3:22写道：
>
>>
>>
>>
>>
>>
>>
>> 在/etc/profile下，目前只加了
>> export HADOOP_CLASSPATH=`hadoop classpath`
>> 我是安装的CDH，没找到sbin这个文件。。
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> 在 2020
连接的版本部分我本地已经修改为 5了，发生了下面的报错；
>> st_env.connect(
>> Elasticsearch()
>> .version("5")
>> .host("localhost", 9200, "http")
>> .index("taxiid-cnts")
>> .document_type('taxiidcnt')
>> .key_delimiter("$")) \
在 2020-06-1
@Congxian 感谢你的回复，我们会参考你的思路。
Best,
Xingxing Di
Sender: Congxian Qiu
Send Time: 2020-06-15 09:55
Receiver: user-zh
cc: zhangyingchen; pengxingbo
Subject: Re: Re: 如何做checkpoint的灾备
正常的流程来说，能找到 checkpoint meta 文件，checkpoint 就是完整的。但是也可能会出现其他的一些异常（主要可能会有
FileNotFound 等异常），那些异常如果需要提前知道的话，可以再 JM 端通过遍历
可以发一下完整的异常吗？
> 在 2020年6月16日，下午3:45，jack 写道：
>
> 连接的版本部分我本地已经修改为 5了，发生了下面的报错；
> >> st_env.connect(
> >> Elasticsearch()
> >> .version("5")
> >> .host("localhost", 9200, "http")
> >> .index("taxiid-cnts")
> >> .document_type('taxiidcnt')
??
-- --
??: ""https://developer.aliyun.com/live/2894?accounttraceid=07deb589f50c4c1abbcbed103e534316qnxq
04:17:00??
Kurt Young https://ci.apache.org/projects/flink/flink-docs-master/dev/table/sql/create.html#
如题，在SQL
ddl中如含有关键字字段（已用反引号括上），并且在ddl中使用了TO_TIMESTAMP、TO_DATE函数，在进行语法检查的时候会报关键字冲突异常，如果将图中的```itime
as TO_TIMESTAMP(time2)```去掉，语法检查正常通过，还麻烦各位大佬帮忙看看~
代码如下图：
[image: image.png]
异常堆栈：
你用的是1.10.0版本么？这个版本的计算列处理有点问题，建议用1.10.1尝试一下。
zilong xiao 于2020年6月16日周二 下午4:56写道：
> 如题，在SQL
> ddl中如含有关键字字段（已用反引号括上），并且在ddl中使用了TO_TIMESTAMP、TO_DATE函数，在进行语法检查的时候会报关键字冲突异常，如果将图中的```itime
> as TO_TIMESTAMP(time2)```去掉，语法检查正常通过，还麻烦各位大佬帮忙看看~
> 代码如下图：
> [image: image.png]
> 异常堆栈：
>
是用的1.10.0版本，我尝试切到1.10.1试试看，请问这个有对应的issue吗？想深入了解下这个问题
Benchao Li 于2020年6月16日周二 下午5:00写道：
> 你用的是1.10.0版本么？这个版本的计算列处理有点问题，建议用1.10.1尝试一下。
>
> zilong xiao 于2020年6月16日周二 下午4:56写道：
>
>> 如题，在SQL
>> ddl中如含有关键字字段（已用反引号括上），并且在ddl中使用了TO_TIMESTAMP、TO_DATE函数，在进行语法检查的时候会报关键字冲突异常，如果将图中的```itime
>> as TO_TIMEST
我看了下1.10.1的release note，您说的应该就是这个issue：
https://issues.apache.org/jira/browse/FLINK-16345
，但是这个issue所描述的问题貌似和我的不太一样，我的这个问题是在使用TO_TIMESTAMP、TO_
DATE函数且，ddl中含有关键字字段时，语法检测会报错，不知道这个问题是否跟这个issue有关呢？
Benchao Li 于2020年6月16日周二 下午5:00写道：
> 你用的是1.10.0版本么？这个版本的计算列处理有点问题，建议用1.10.1尝试一下。
>
> zilong xiao 于202
应该是这个： https://issues.apache.org/jira/browse/FLINK-16068
Best,
Kurt
On Tue, Jun 16, 2020 at 5:09 PM zilong xiao wrote:
> 我看了下1.10.1的release note，您说的应该就是这个issue：
> https://issues.apache.org/jira/browse/FLINK-16345
> ，但是这个issue所描述的问题貌似和我的不太一样，我的这个问题是在使用TO_TIMESTAMP、TO_
> DATE函数且，ddl中含有关键字字段时，语法检
看了下issue，跟我描述的问题很相似，我尝试切到1.10.1试试看，谢谢您的解惑
Kurt Young 于2020年6月16日周二 下午5:15写道：
> 应该是这个： https://issues.apache.org/jira/browse/FLINK-16068
>
> Best,
> Kurt
>
>
> On Tue, Jun 16, 2020 at 5:09 PM zilong xiao wrote:
>
> > 我看了下1.10.1的release note，您说的应该就是这个issue：
> > https://issues.apache.org/jira/brow
您好：
采用异步io的方式从hbase获取信息，发现hbase上游背压很高。有没有什么建议或者好的方式！谢谢！
flink1.10.0
hdxg1101300...@163.com
感觉像这种IO Bound的场景，一种是可以尝试攒个小batch去请求；一种是加一个cache来降低请求的数量。
要不然就是优化提升外部系统的吞吐。
hdxg1101300...@163.com 于2020年6月16日周二 下午5:35写道：
> 您好：
> 采用异步io的方式从hbase获取信息，发现hbase上游背压很高。有没有什么建议或者好的方式！谢谢！
> flink1.10.0
>
>
>
> hdxg1101300...@163.com
>
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Field types of query result and registered TableSink
default_catalog.default_database.user_age do not match.
Query schema: [rowkey: STRING, cf: ROW<`age` INT>]
Sink schema: [rowkey: STRING, age: INT]
at
Hi,
上面的错误提示已经比较明确了，说的是你的query的schema跟sink table的schema对不上。
query的schema是：[rowkey: STRING, cf: ROW<`age` INT>]
而sink的schema是：[rowkey: STRING, age: INT]
你可以调整一下你的sink的schema；或者调整一下你的query语句。
Zhou Zach 于2020年6月16日周二 下午5:51写道：
>
>
> org.apache.flink.client.program.ProgramInvocationException: The m
我编译了1.11包
在sql-cli下查询hive的表报如下错误：
[ERROR] Could not execute SQL statement. Reason:
java.lang.NoClassDefFoundError: org/apache/flink/table/dataformat/BaseRow
查注册的kafka表报：
[ERROR] Could not execute SQL statement. Reason:
java.lang.ClassNotFoundException: org.apache.flink.table.dataformat.BaseRow
您好：
如果我的数据本身比较分散，重复的ID很少，还有必要进行keyby操作吗
谢谢！
hdxg1101300...@163.com
目前使用guava的cache做了缓存但是效果不是很好
hdxg1101300...@163.com
发件人： Benchao Li
发送时间： 2020-06-16 17:40
收件人： user-zh
主题： Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
感觉像这种IO Bound的场景，一种是可以尝试攒个小batch去请求；一种是加一个cache来降低请求的数量。
要不然就是优化提升外部系统的吞吐。
hdxg1101300...@163.com 于2020年6月16日周二 下午5:35写道：
> 您好：
> 采用异步io的方式从h
1.11中对底层数据结构做了一些重构，所以你不可以直接把1.10的jar包拿到1.11里面使用的。
你可以直接使用1.11里面编译出来的jar包来跑应该是没有问题的。
Sun.Zhu <17626017...@163.com> 于2020年6月16日周二 下午6:11写道：
> 我编译了1.11包
> 在sql-cli下查询hive的表报如下错误：
> [ERROR] Could not execute SQL statement. Reason:
> java.lang.NoClassDefFoundError: org/apache/flink/table/dataformat/Ba
是否有观察过缓存命中率呢，如果缓存命中率不高，性能也不会太好的。
hdxg1101300...@163.com 于2020年6月16日周二 下午6:29写道：
> 目前使用guava的cache做了缓存但是效果不是很好
>
>
>
> hdxg1101300...@163.com
>
> 发件人： Benchao Li
> 发送时间： 2020-06-16 17:40
> 收件人： user-zh
> 主题： Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
> 感觉像这种IO Bound的场景，一种是可以尝试攒个小batch去请求；一种是加一个cache来降低
flink sql ??ROW<`age` INT>??INT??
streamTableEnv.sqlUpdate(
"""
|
|insert into user_age
|SELECT rowkey, cast(cf as int) as age
|FROM
| users
|
|""".stripMargin)??
默认会有中hash 吧，看做啥操作
在 2020-06-16 18:28:51，"hdxg1101300...@163.com" 写道：
>
>您好：
>如果我的数据本身比较分散，重复的ID很少，还有必要进行keyby操作吗
>谢谢！
>
>
>hdxg1101300...@163.com
flink sql??HBase??ROWROW??INT
select cast(cf as Int) cf from hbase_table
??
Hi
row类型是不能强转int的，可以找一下阿里云flink sql的文档，其中有介绍哪些数据类型可以互转。
Best,
Yichao Yang
发自我的iPhone
-- 原始邮件 --
发件人: Zhou Zach
Hi
个人理解一般情况下都是业务需要才会做keyby操作，比如想统计一个用户一分钟pv按照userid
keyby。如果你的任务没有这样的业务需求完全不用考虑使用这些算子的。
Best,
Yichao Yang
-- 原始邮件 --
发件人: Michael Ran
Hi
使用到缓存的话大多数情况下都要用到keyby，并且在keyby之后的算子使用缓存，保证相同key只会访问一个缓存，否则缓存命中率一般情况下都会很低。
Best,
Yichao Yang
发自我的iPhone
-- 原始邮件 --
发件人: Benchao Li
不能直接cast，ROW类型是一个复合类型，要获取其中的某个字段，可以用`.`来获取。
比如你现在这个场景，就是 SELECT rowkey, cf.age FROM users
Zhou Zach 于2020年6月16日周二 下午6:59写道：
> flink sql 怎么将ROW<`age` INT>转换成INT啊
>
>
> streamTableEnv.sqlUpdate(
> """
> |
> |insert into user_age
> |SELECT rowkey, cast(cf as int) as age
> |FROM
>
Hi
Hbase connector中，除 rowkey 字段外，所有列簇 在FLINK中对应的类型都是 符合类型ROW()，这是因为ROW中可以包括多个
field 能够和 hbase 中的一个列簇可以包含多个列很好地对应。贴个文档，你一看就懂：
CREATE TABLE hTable (
rowkey INT,
family1 ROW,
family2 ROW,
family3 ROW,
PRIMARY KEY (rowkey) NOT ENFORCED
) WITH (...);
-- scan data from the HBase table
SELEC
2020-06-16 21:01:09,756 INFO
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser
- Kafka version: unknown
2020-06-16 21:01:09,757 INFO
org.apache.flink.kafka.shaded.org.apache.kafka.common.utils.AppInfoParser
- Kafka commitId: unknown
2020-06-16 21:01:09,758 INFO
org
hi，大家
维表被频繁更新，数据量1g左右，需要频繁同步，使用什么方案去关联比较好呢？
Hi
个人理解能不能做keyby+localcache的方式呢，保证一组key只在一个算子内，每个算子都会访问一部分维表数据，但是不同算子不会访问相同key的维度数据。
Best,
Yichao Yang
-- 原始邮件 --
发件人: wangxiangyan
频繁是什么级别的？可以加缓存。然后再定期更新。
> 在 2020年6月16日，下午10:10，wangxiangyan 写道：
>
> hi，大家
> 维表被频繁更新，数据量1g左右，需要频繁同步，使用什么方案去关联比较好呢？
或者采用redis做维表存储介质。
> 在 2020年6月16日，下午10:10，wangxiangyan 写道：
>
> hi，大家
> 维表被频繁更新，数据量1g左右，需要频繁同步，使用什么方案去关联比较好呢？
Hi,
据我所知，Flink 1.10 官方没有支持Elasticsearch 5.x 版本的 sql connector。
Best，
Jark
On Tue, 16 Jun 2020 at 16:08, Dian Fu wrote:
> 可以发一下完整的异常吗？
>
> 在 2020年6月16日，下午3:45，jack 写道：
>
> 连接的版本部分我本地已经修改为 5了，发生了下面的报错；
>
> >> st_env.connect(
> >> Elasticsearch()
> >> .version("5")
> >>
如果更新非常频繁，又要保证关联的准确性，又要保证吞吐，那么最佳的解决方案我觉得只能是关联 changelog 了，
只是 Flink 目前还没有原生支持维表关联一个 changelog，会在Flink SQL 1.12中去支持。
当前版本下的话，可以尝试 keyby+localcache+异步IO。
Best,
Jark
On Tue, 16 Jun 2020 at 22:35, 李奇 <359502...@qq.com> wrote:
> 或者采用redis做维表存储介质。
>
> > 在 2020年6月16日，下午10:10，wangxiangyan 写道：
> >
> >
是的 除了1.11 编译出来的包之外依赖的包，比如connector的、hivecatalog需要依赖的包，由于1.11
还没有release所以就用的1.10.1版本的，上面两个问题在1.10.1版本下是没有的，升级了1.11报了不知道什么原因，缺少依赖吗？
在2020年06月16日 18:38，Benchao Li 写道：
1.11中对底层数据结构做了一些重构，所以你不可以直接把1.10的jar包拿到1.11里面使用的。
你可以直接使用1.11里面编译出来的jar包来跑应该是没有问题的。
Sun.Zhu <17626017...@163.com> 于2020年6月16日周二
Hi
1.11 版本内置了DataGen、print、Blackhole的connector用来辅助功能测试，性能测试，线上观察，欢迎试用
在2020年06月16日 09:26，aven.wu 写道：
各位好；
最近我想测试一下我的程序处理性能如何。请问有什么工具、或者应该通过什么方法来获得一个比较准确的测试结果。
我的场景包含从kafka读取，flink 处理（有查询es做维表关联），处理结果输出到ES 和 Kafka。
Best
Aven
为什么会重头消费规则呢？没有开启checkpoint吗？重启可以从checkpoint中的offset继续消费kafka中的规则吧
在2020年06月16日 11:57，Ruibin Xing 写道：
我们有一个Flink Job需要一些自定义的规则，希望能够动态添加、更新、删除。规则的数量在百到千条。目前设计的结构是RDB+ Kafka +
Flink。
RDB存储规则的完整快照，以展示给Web应用作增删改查。改动通过Kafka发送消息至Flink，通过BroadcastState传播规则。
目前有一个问题没有解决：如何使用Kafka来传递状态。我想了一下，大概有几种方案：
Hi all,
On behalf of the Flink PMC, I'm happy to announce that Yu Li is now
part of the Apache Flink Project Management Committee (PMC).
Yu Li has been very active on Flink's Statebackend component, working on
various improvements, for example the RocksDB memory management for 1.10.
and keeps che
??.??
offset (0) + length (4) exceed the capacity of the array: 2
?? hbaseint??
??users.addColumn("cf", "age", classOf[Integer]) ??
??int??IntegerInteger??int
-- --
Congratulations Yu, well deserved~!
Thank you~
Xintong Song
On Wed, Jun 17, 2020 at 9:15 AM jincheng sun
wrote:
> Hi all,
>
> On behalf of the Flink PMC, I'm happy to announce that Yu Li is now
> part of the Apache Flink Project Management Committee (PMC).
>
> Yu Li has been very active on F
Congrats, Yu!
Best,
Yangze Guo
On Wed, Jun 17, 2020 at 9:35 AM Xintong Song wrote:
>
> Congratulations Yu, well deserved~!
>
> Thank you~
>
> Xintong Song
>
>
>
> On Wed, Jun 17, 2020 at 9:15 AM jincheng sun wrote:
>>
>> Hi all,
>>
>> On behalf of the Flink PMC, I'm happy to announce that Yu Li
Congratulations Yu !
Best,
Leonard Xu
> 在 2020年6月17日，09:50，Yangze Guo 写道：
>
> Congrats, Yu!
> Best,
> Yangze Guo
>
> On Wed, Jun 17, 2020 at 9:35 AM Xintong Song wrote:
>>
>> Congratulations Yu, well deserved~!
>>
>> Thank you~
>>
>> Xintong Song
>>
>>
>>
>> On Wed, Jun 17, 2020 at 9:15
Congratulations Yu!
Best,
Haibo
At 2020-06-17 09:15:02, "jincheng sun" wrote:
>Hi all,
>
>On behalf of the Flink PMC, I'm happy to announce that Yu Li is now
>part of the Apache Flink Project Management Committee (PMC).
>
>Yu Li has been very active on Flink's Statebackend component, working
目前这个缺少的依赖是在flink-table-runtime-blink module的，现在这些重构到了flink-table-common
module了。
如果只是connector、format这些用老的版本，应该是没有问题的。
你可以把更详细的报错信息发一下吗？看一下具体是哪个模块还在依赖老版本的flink-table-runtime-blink
Sun.Zhu <17626017...@163.com> 于2020年6月17日周三 上午12:49写道：
> 是的 除了1.11 编译出来的包之外依赖的包，比如connector的、hivecatalog需要依赖的包，由于1.11
如果有逻辑上的变更，会导致Checkpoint不可用？之前没有从checkpoint恢复状态的经验，没考虑过可以从checkpoint中恢复，我看看相关资料，感谢！
Sun.Zhu <17626017...@163.com> 于2020年6月17日周三 上午12:57写道：
> 为什么会重头消费规则呢？没有开启checkpoint吗？重启可以从checkpoint中的offset继续消费kafka中的规则吧
>
>
>
>
> 在2020年06月16日 11:57，Ruibin Xing 写道：
> 我们有一个Flink Job需要一些自定义的规则，希望能够动态添加、更新、删除。规则的数
Congratulations Yu! Well deserved!
Best,
Jark
On Wed, 17 Jun 2020 at 10:18, Haibo Sun wrote:
> Congratulations Yu!
>
> Best,
> Haibo
>
>
> At 2020-06-17 09:15:02, "jincheng sun" wrote:
> >Hi all,
> >
> >On behalf of the Flink PMC, I'm happy to announce that Yu Li is now
> >part of the Apache F
Congratulations Yu!
Jark Wu 于2020年6月17日周三 上午10:36写道：
> Congratulations Yu! Well deserved!
>
> Best,
> Jark
>
> On Wed, 17 Jun 2020 at 10:18, Haibo Sun wrote:
>
> > Congratulations Yu!
> >
> > Best,
> > Haibo
> >
> >
> > At 2020-06-17 09:15:02, "jincheng sun" wrote:
> > >Hi all,
> > >
> > >On b
Hi,
> 在 2020年6月17日，09:33，Zhou Zach 写道：
>
> 怎么把int转换成Integer呢或者把Integer转换成int
我理解 Integer 和 int 是相同的类型，INT 是SQL的类型，Integer 是java中的具体实现类，这个错误看起来是在读
hbase中的数据时，数据的index不对，
能把 sql 和异常栈贴下吗？
Best,
Leonard Xu
Congrats Yu!
Regards,
Dian
> 在 2020年6月17日，上午10:35，Jark Wu 写道：
>
> Congratulations Yu! Well deserved!
>
> Best,
> Jark
>
> On Wed, 17 Jun 2020 at 10:18, Haibo Sun wrote:
>
>> Congratulations Yu!
>>
>> Best,
>> Haibo
>>
>>
>> At 2020-06-17 09:15:02, "jincheng sun" wrote:
>>> Hi all,
>>>
??0??UV??UV??
CREATE VIEW uv_per_10min AS
SELECT
MAX(DATE_FORMAT(proctime , '-MM-dd HH:mm:00')) OVER w AS
time_str,
COUNT(DISTINCT user_id) OVER w AS uv
FROM user_behavior
WINDOW w AS (ORDER BY procti
Congratulations Yu! Well deserved!
Best,
Zhijiang
--
From:Dian Fu
Send Time:2020年6月17日(星期三) 10:48
To:dev
Cc:Haibo Sun ; user ; user-zh
Subject:Re: [ANNOUNCE] Yu Li is now part of the Flink PMC
Congrats Yu!
Regards,
Dian
> 在 2
Hi，
我感觉这种场景可以有两种方式，
1. 可以直接用group by + mini batch
2. window聚合 + fast emit
对于#1，group by的字段里面可以有一个日期的字段，例如你上面提到的DATE_FORMAT(rowtm, '-MM-dd')。
这种情况下的状态清理，需要配置state retention时间，配置方法可以参考[1] 。同时，mini batch的开启也需要
用参数[2] 来打开。
对于#2，这种直接开一个天级别的tumble窗口就行。然后状态清理不用特殊配置，默认就可以清理。
fast emit这个配置现在还是一个experi
本超提的两个方案也是阿里内部解决这个问题最常用的方式，但是 1.10 会有 primary key 的限制，要等到 1.11 才行。
另外这两个方案在追数据时，都可能会有毛刺现象（有几分钟没有值，因为数据追太快，跳过了）。
On Wed, 17 Jun 2020 at 11:46, Benchao Li wrote:
> Hi，
> 我感觉这种场景可以有两种方式，
> 1. 可以直接用group by + mini batch
> 2. window聚合 + fast emit
>
> 对于#1，group by的字段里面可以有一个日期的字段，例如你上面提到的DATE_FORMAT
Sqlcli上得报错就上面这点，没有更多得信息了，或者从哪些log里可以看到更多信息
在2020年06月17日 10:27，Benchao Li 写道：
目前这个缺少的依赖是在flink-table-runtime-blink module的，现在这些重构到了flink-table-common
module了。
如果只是connector、format这些用老的版本，应该是没有问题的。
你可以把更详细的报错信息发一下吗？看一下具体是哪个模块还在依赖老版本的flink-table-runtime-blink
Sun.Zhu <17626017...@163.com> 于2020年6
??hbase??hbase
-- --
??: "Leonard Xu"
The program finished with the following exception:
org.apache.flink.client.program.ProgramInvocationException: The main method
caused an error: Could not find a suitable table factory for
'org.apache.flink.table.factories.TableSinkFactory' in
the classpath.
Reason: No factory supports all pro
是说把1.10.1的hive connector跟1.11的flink一起用么？如果这样用是肯定有问题的。可以把版本都统一成1.11试试。
On Wed, Jun 17, 2020 at 12:18 PM Sun.Zhu <17626017...@163.com> wrote:
> Sqlcli上得报错就上面这点，没有更多得信息了，或者从哪些log里可以看到更多信息
>
>
>
>
> 在2020年06月17日 10:27，Benchao Li 写道：
> 目前这个缺少的依赖是在flink-table-runtime-blink module的，现在这些重构到了flink-table-c
Hi,
HBase connector 不用声明 update-mode 属性。 也不能声明。
Best,
Jark
On Wed, 17 Jun 2020 at 13:08, Zhou Zach wrote:
> The program finished with the following exception:
>
>
> org.apache.flink.client.program.ProgramInvocationException: The main
> method caused an error: Could not find a suitable table fa
??"??"UV??
sink??
tm uv
2020/06/17 13:46:00 1
2020/06/17 13:47:00 2
2020/06/17 13:48:00 3
group by ??
-- --
??: "Benchao Li"https://ci.apache.
那flink sql DDL的方式，读写，更新，删除hbase都是支持的吧
At 2020-06-17 13:45:15, "Jark Wu" wrote:
>Hi,
>
>HBase connector 不用声明 update-mode 属性。 也不能声明。
>
>Best,
>Jark
>
>On Wed, 17 Jun 2020 at 13:08, Zhou Zach wrote:
>
>> The program finished with the following exception:
>>
>>
>> org.apache.flink.cl
是的。
On Wed, 17 Jun 2020 at 13:50, Zhou Zach wrote:
> 那flink sql DDL的方式，读写，更新，删除hbase都是支持的吧
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> At 2020-06-17 13:45:15, "Jark Wu" wrote:
> >Hi,
> >
> >HBase connector 不用声明 update-mode 属性。 也不能声明。
> >
> >Best,
> >Jark
> >
> >On Wed, 17 Jun 2020 at 13:08, Zhou Zach
Congratulations Yu, well deserved!
Best,
Jingsong
On Wed, Jun 17, 2020 at 1:42 PM Yuan Mei wrote:
> Congrats, Yu!
>
> GXGX & well deserved!!
>
> Best Regards,
>
> Yuan
>
> On Wed, Jun 17, 2020 at 9:15 AM jincheng sun
> wrote:
>
>> Hi all,
>>
>> On behalf of the Flink PMC, I'm happy to announce
在 Flink 1.11 中，你可以尝试这样：
CREATE TABLE mysql (
time_str STRING,
uv BIGINT,
PRIMARY KEY (ts) NOT ENFORCED
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://localhost:3306/mydatabase',
'table-name' = 'myuv'
);
INSERT INTO mysql
SELECT MAX(DATE_FORMAT(ts, '-MM-dd HH:mm:00')),
env.readFile(format,path, FileProcessingMode.PROCESS_CONTINUOUSLY, 6)
source
formatA , A?? :
A/20200101/
A/20200102/
A/20200103/
...
...
??6200500???
使用flink读取递归读取hdfs文件，报.tmp结尾的文件不存在异常，正常这些tmp文件flink应该不用读取吧？
File does not exist:
/recommender/success_fid_flow/ds=2020-06-16/hour=14/2020-06-16_14.success_fid_jarvis-01.1592287200578.tmp
| |
阿华田
|
|
a15733178...@163.com
|
签名由网易邮箱大师定制
-- --
??: "Jark Wu"https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/streaming/query_configuration.html
> [2]
>
>
https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/config.html
>
> x <35907..
73 matches
Mail list logo
