String不行,取出来的值是null
Original Message
Sender: silence
Recipient: user-zh
Date: Monday, Dec 7, 2020 14:26
Subject: Re: FlinkSQL如何定义JsonObject数据的字段类型
可以用string -- Sent from: http://apache-flink.147419.n8.nabble.com/
??set table.sql-dialect=hive; ??hive
HiveModule?? flink -sql
-client ?? HiveModule
----
??:
这个问题我们也遇到过,目前这个issue在跟进,https://issues.apache.org/jira/browse/FLINK-12130
--
Sent from: http://apache-flink.147419.n8.nabble.com/
??ab ??flink sql??
flink1.10.1
可以用string
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi, 各位大佬
我的上游是一个 Kafka Topic, 里边把一个 MySQL DB 所有的 Binlog 打进去了。我的
Flink任务的在处理的时候,消费一次,然后 filter out 出来 表A 和 表B,表A是 order事件 ,表B 是 order item
信息,所以 我用:
SELECT *
FROM A
LEFT OUT JOIN B
ON order_id
Where A.event_time > B.event_time + 30 s
A.event_time > B.event_time - 30 s
我测了下,A 和 BI
Hi,
flink version: 1.11.2
api: flink-sql
场景:使用flink sql定义了一张kafka的source表,kafka中数据为json格式的字符串。
其中context是json的一个键,其值为jsonObject,数据示例如下:
{
“id”: 1,
"context”: {
…
(这里的数据为jsonObject,具体schema不确定,
由各个业务方自行确定,可能嵌套,也可能不嵌套,完全不可控)
}
}
建表语句为:
CREATE TABLE json_source (
id bigint,
context
)
Hello,
我试了一下用batch和streaming的方式写hive-2.1.1的orc表,batch模式没发现啥问题。在streaming模式下,如果把table.exec.hive.fallback-mapred-writer设为false时,会有依赖冲突,这是个已知问题,把这个参数设为true(默认值)应该可以避免。
另外我这边Hadoop的环境是2.7的,你的Hadoop是3.x么?
On Fri, Dec 4, 2020 at 9:27 PM Rui Li wrote:
> Hi,
>
>
Hi,
你指的是 `yarn.provided.lib.dirs` 吗?
这个地方设计的时候确实是只考虑到了 hdfs,没有考虑 http 文件。
我刚刚也和熟悉 hadoop 的朋友确认了一下,从 yarn 的层面上应该也是支持 http 文件的,所以 flink 最好也是能支持 http 文件。
由于整个 feature 在设计的时候都没有考虑到 http 文件的问题,不确定修复了正则匹配的问题后是否还会有其他问题。
我开了 FLINK-20505 来跟踪 provided lib 支持 http 文件的整体进度。
这个我也不太清楚,没有做过对应的是测试。
@吴磊 想到一个问题,如果 process 中使用了 agg state,keyBy(userId % 10) 后会有问题吧?使用 mapState 做
agg 操作?
在2020年12月6日 20:30,赵一旦 写道:
所以说,ckpt的性能/时间和key的数量有关对吗?即使总体数据量不变,key少些,每个key的状态变大,会降低ckpt时间?
按照你们的分析来看??
bradyMk 于2020年12月4日周五 下午7:23写道:
对对对,可以取hashCode,我短路了,谢谢哈~
-
Best Wishes
--
在保证数据量不变的情况下,我并没有测试10亿个key的性能,但我测试了只有8个key的性能,发现背压严重;现在用了100个key,消费正常;所以,我认为,ckpt的性能/时间和key的数量还是有关的
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
先kinit执行把认证注入,再执行停止命令
> 在 2020年12月7日,11:35,"amen...@163.com" 写道:
>
> hi everyone,
>
> 使用./bin/flink stop -yid application_xxx_xxx
> xx命令停止yarn任务时,可否将kerberos认证信息带过去?
> 例如说,-Dsecurity.kerberos.login.keytab 及
> -Dsecurity.kerberos.login.principal这样(这二者试过不行 )
>
> btw,
hi everyone,
使用./bin/flink stop -yid application_xxx_xxx
xx命令停止yarn任务时,可否将kerberos认证信息带过去?
例如说,-Dsecurity.kerberos.login.keytab 及
-Dsecurity.kerberos.login.principal这样(这二者试过不行 )
btw, 代码形式的stop和命令行的stop命令使用效率是一致的吗?thanks.
best,
amenhub
hi~谢谢解答;
但我的状态用的是RocksDB,实质上不应该是存的磁盘么?为什么会一直占用tm的内存呢?
-
Best Wishes
--
Sent from: http://apache-flink.147419.n8.nabble.com/
一般UnknownHostException的报错就是因为HDFS client没有解析到正确的hdfs-site.xml配置,
导致把nameservice当成hostname来解析了,你可以看JobManager以及TaskManager的log,
查看里面打出来的classpath有没有hadoop conf的目录
Best,
Yang
smallwong 于2020年12月7日周一 上午10:04写道:
> 环境:Flink1.11.2, CDH5.13.3(Hive1.1.0)
> 已使用的方法:
大概率是网络不通,可以检查一下白名单设置
Best,
Yangze Guo
On Mon, Dec 7, 2020 at 10:28 AM Jark Wu wrote:
>
> 这个估计和网络和部署有关,建议咨询下华为云的技术支持。
>
> On Sun, 6 Dec 2020 at 20:40, 赵一旦 wrote:
>
> > 连接不上,你的华为云确认和redis服务器连通吗?
> >
> > 追梦的废柴 于2020年12月6日周日 下午8:35写道:
> >
> > > 各位:
> > > 晚上好!
> > >
这个估计和网络和部署有关,建议咨询下华为云的技术支持。
On Sun, 6 Dec 2020 at 20:40, 赵一旦 wrote:
> 连接不上,你的华为云确认和redis服务器连通吗?
>
> 追梦的废柴 于2020年12月6日周日 下午8:35写道:
>
> > 各位:
> > 晚上好!
> > 现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
> >
> >
>
收到,期待~
--
Sent from: http://apache-flink.147419.n8.nabble.com/
环境:Flink1.11.2, CDH5.13.3(Hive1.1.0)
已使用的方法: flink-conf.yaml中设置env.yarn.conf.dir,另外也检测集群配置,hdfs-site.xml没问题,但都无效
异常:
Caused by: java.net.UnknownHostException: nameservice
at
org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:406)
~[hadoop-common.jar:?]
at
hi all, 最近在1.11上使用io.extra-file加载外部http文件出现一点小问题
由于http的文件在FileSystem.getFileStatus去拿状态时会走HttpFileSystem的类的getFileStatus方法,该方法返回的FileStatus中length为-1。
在client端校验通过后,在decodeYarnLocalResourceDescriptor的时候会碰到问题。
异常如下:
2020-12-04 17:01:28.955 ERROR org.apache.flink.yarn.YarnResourceManager - Could
中间状态用完了最好是clear掉。不然一直会占用tm的内存的呢
-邮件原件-
发件人: bradyMk [mailto:zhbm...@126.com]
发送时间: 2020年12月5日 星期六 17:29
收件人: user-zh@flink.apache.org
主题: flink使用RocksDB增量checkpoints,程序运行一段时间报出:超出物理内存
大家好~
最近刚刚尝试使用flink 1.9.1 的RocksDB做增量checkpoints;
在程序种设置:
val backend = new
Hi,
你是需要对维表里面的某些字段进行计算过滤等吗,可以参考:https://github.com/apache/flink/blob/53a4b4407816c2780fed2f8995affbebc1f58c3c/flink-table/flink-table-planner-blink/src/test/scala/org/apache/flink/table/planner/runtime/stream/sql/LookupJoinITCase.scala#L162
Best,
Hailong
在 2020-12-05 14:11:26,"leiyanrui"
连接不上,你的华为云确认和redis服务器连通吗?
追梦的废柴 于2020年12月6日周日 下午8:35写道:
> 各位:
> 晚上好!
> 现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
>
> 我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
> 但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink
>
各位:
晚上好!
现在我所在的项目组在调研Flink框架,有一个指标需要读取Kafka中的数据然后使用Redis存储最终的结果。
我们在pom文件中引入了flink-redis的connector,然后按照官方的RedisSink案例,在本地开发的时候可以正常写入到某台服务器上的Redis中,
但是当我把程序打成Jar包之后,部署到服务器(华为云MRS)上使用flink run提交到yarn之后总是在报错,无法写入到Redis中,各位知道是为什么吗?
问题已经卡了我两天了,一点进展都没有,有劳各位帮忙解答一下,Thank you!
报错如下:
所以说,ckpt的性能/时间和key的数量有关对吗?即使总体数据量不变,key少些,每个key的状态变大,会降低ckpt时间?
按照你们的分析来看??
bradyMk 于2020年12月4日周五 下午7:23写道:
> 对对对,可以取hashCode,我短路了,谢谢哈~
>
>
>
> -
> Best Wishes
> --
> Sent from: http://apache-flink.147419.n8.nabble.com/
>
25 matches
Mail list logo