Hi, HiveTableSource默认会根据数据大小自行分配并发,所以和你设置的最大并发冲突了,你可以设置table. exec. hive.
infer-source-parallelism: false来关闭这个功能 Best, Faaron Zheng 在2020年09月04日 15:29,me
写道: val tableConfig = tableEnv.getConfig.getConfiguration
tableConfig.setString("table.exec.resource.default-parallelism","4&q
Hi, sql-client目前应该是没有这个能力的,它是交互式执行的,我们之前在sql-client的基础上改过一个类似beeline
-e/-f的脚本,主要修改的提交任务的地方。 Best, Faaron Zheng 在2020年09月04日 17:04,LittleFall 写道:
我有一个 sql 文件,它里面有不少 flink sql 的创建表的语句和查询语句,现在我想要通过 sql client
提交这些任务,却只能一句一句的复制粘贴。如果同时复制粘贴多条语句就会报错,在 flink sql client 中使用 source xxx.sql
也会报错。 请问用什么样的
wrote: > 我们当前用的是kerberos认证,需要额外配置什么么?
xiaoyan hua 邮箱:xiaoyanhua...@gmail.com 签名由 > 网易邮箱大师 定制 在2020年08月25日
15:54,faaron zheng 写道: Hi all, 我在使用flink > sql-client链接hive
metastore的时候,发现好像没有做任何权限控制,可以访问所有的表?这一块是没做么?有什么计划么? -- Best regards! Rui Li
Hi all, 我在使用flink sql-client链接hive
metastore的时候,发现好像没有做任何权限控制,可以访问所有的表?这一块是没做么?有什么计划么?
Thanks,原来是我的打开方式不对 在2020年08月21日 11:17,Rui Li 写道: 是只用了hive
module么?建议的方式是同时加载hive module和core module,解析函数的时候会根据加载的顺序去每个module里查找。 On Fri,
Aug 21, 2020 at 11:06 AM faaron zheng wrote: > Hi all,
我在使用flink1.10的sql-client时候发现使用hive module时会缺少某些core module > 中的build-in
function比如plus,greaterT
Hi all, 我在使用flink1.10的sql-client时候发现使用hive module时会缺少某些core module 中的build-in
function比如plus,greaterThan。这会导致同样的sql core module可以执行成功,hive
module却会报错,比如在使用row_number() over()时候。这是什么原因?
Hi all, 我在使用flink1.10的sql-client时候发现使用hive module时会缺少某些core module 中的build-in
function比如plus,greaterThan。这会导致同样的sql core module可以执行成功,hive
module却会报错,比如在使用row_number() over()时候。这是什么原因?
Hi, all, I use flink 1.10 to run a sql and I find that almost 60% of the data
is concentrated on one parallelism. Is there any good idea for this scene?
Flink 1.10中是否有接口或方法获取批任务执行进度,百分比? faaron zheng 邮箱:faaronzh...@gmail.com 签名由
网易邮箱大师 定制
ava:887)
>> >> at
org.apache.flink.streaming.runtime.tasks.StreamTask$$Lambda$229/1010499540.run(UnknownSource)
>> >> at
org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:94)
>> >> at
org.apache.flink.streaming.runtime.tasks.StreamTask.performCheckpoint(StreamTask.java:860)
>> >> at
org.apache.flink.streaming.runtime.tasks.StreamTask.triggerCheckpoint(StreamTask.java:793)
>> >> ... 12 more faaron zheng 邮箱:faaronzh...@gmail.com 签名由 网易邮箱大师 定制
陷,在极个别情况下有可能会限制不住。可以尝试关闭 RocksDB 的内存控制,这样
RocksDB 会使用默认缓存大小,不会随着 Flink TM
的增大而增大。配置项:state.backend.rocksdb.memory.managed Thank you~ Xintong Song On Mon,
Mar 23, 2020 at 10:15 PM LakeShen wrote: > Hi
farron , > > 能否在详细描述一下你的 SQL 的逻辑 > > > > faaron zheng
于2
大家好,我在用flink1.10执行sql时,当数据比较大的时候,3T左右,100多亿条数据,在执行hash和sort的时候经常超出内存限制,被yarn杀掉,我的tm给了40g内存,每个有10个slot,每个slot3g内存。我也试过给更大的内存,但是没什么效果。不知道这是什么原因?
ory/mem_setup.html#managed-memory
>
> Best,
> Jingsong Lee
>
> On Fri, Mar 6, 2020 at 5:38 PM faaron zheng wrote:
>
>> Hi all,
>>
>> I am trying to use flink sql to run hive task. I use tEnv.sqlUpdate to
>> execute my sql which looks like "insert overtw
Hi all,
I am trying to use flink sql to run hive task. I use tEnv.sqlUpdate to
execute my sql which looks like "insert overtwrite ... select ...". But I
find the parallelism of sink is always 1, it's intolerable for large data.
Why it happens? Otherwise, Is there any guide to decide the memory of
if
anyone try to do same thing.
faaron zheng 于 2020年3月2日周一 下午7:52写道:
> I set sql.exec.runtime-filter.wait to true. HiveTableSource take much
> longer time but get same result. I think the reason is not commit
> preAggregateAccumulator. But I dont know why it happens?
>
> JingsongLee 于
I set sql.exec.runtime-filter.wait to true. HiveTableSource take much
longer time but get same result. I think the reason is not commit
preAggregateAccumulator. But I dont know why it happens?
JingsongLee 于 2020年3月2日周一 下午3:22写道:
> Hi,
>
> Does runtime filter probe side wait for building runtime
Thanks for replying Lee, I follow your method to debug the code and I find
the build side only call addPreAggregatedAccumulator but not call commit
method. Furthermore, I add a breakpoint at future.handleAsync in
asyncGetBroadcastBloomFilter method. But when program stop at if(e==null &&
Hi, everyone
These days, I am trying to implement runtime filter in flink1.10 with
flink-sql-benchmark according to blink. I mainly change three part of
flink code: add runtime filter rule; modify the code gen and bloomfilter;
add some aggregatedaccumulator methods according to accumulator.
Hi,大家好,
请教一个flink任务正常运行一段时间后因为AMRMToken失效导致任务失败的问题。当前使用的环境Flink1.7.2,使用kerberos鉴权,hadoop3.1.1。
JM日志一直checkpoint正常,突然报了附件的错误

社区有个相关的issue单,Flink-12623但是说是和hadoop版本有关的。想问下除了这个原因还有什么原因会导致这个问题出现么?
我用的是之前flink tpc-ds性能优化比赛的代码来执行tpc-ds,
flink版本是1.10。简单的修改了一下flink源码中ParquetTableSource的构造函数,支持传递TableSchema。但是在运行query1的时候报了如下的错,在校验数据源的时候decimal精度和范围不一致导致,而数据本生的格式就是Decimal(7,2)。请问这个校验是必须的么?我是应该在哪里转换么?
flink使用的是hadoop中的parquetfilereader,这个貌似不支持向量化读取,hive和spark目前都支持向量化读取,请加一下flink有什么计划吗?
了解了,感谢三位。我的slot上包括一个hash-join一个hash-agg,加起来刚好256mb。不过因为存在slotsharing的原因,感觉并不容易提前判断。
faaron zheng 邮箱:faaronzh...@gmail.com 签名由 网易邮箱大师 定制 在2019年12月26日
15:09,JingsongLee 写道: Hi faaron zheng, 如kurt所说,强烈建议使用1.10,现在已拉分支。
TM运行的一个经验值是:TM有10个Slot,TM内存10G:JVM堆内4G、1G网络buffer、manage内存5G(也就是说单个slot的manage内存
感谢回复,我确认了下,ys为10的时候,hashjoin请求的slot内存为256m,而我的tm managed
memory为2g,也就是一个slot平均200m,所以任务没调度起来。
但是我还有个疑问,批任务如何在任务提交前确定单个slot应该分多少内存,有没有一般性的方法或经验? faaron zheng
邮箱:faaronzh...@gmail.com 签名由 网易邮箱大师 定制 在2019年12月26日 11:23,faaron zheng 写道:
感谢回复,我确认了下,ys为10的时候,hashjoin请求的slot内存为256m,而我的tm managed
感谢回复,我确认了下,ys为10的时候,hashjoin请求的slot内存为256m,而我的tm managed
memory为2g,也就是一个slot平均200m,所以任务没调度起来。
但是我还有个疑问,批任务如何在任务提交前确定单个slot应该分多少内存,有没有一般性的方法或经验? faaron zheng
邮箱:faaronzh...@gmail.com 签名由 网易邮箱大师 定制 在2019年12月25日 11:30,Xintong Song 写道: Hi
faaron, Flink 1.9 中 -yn参数应该是不生效的,后续版本中已经删除了这个参数。 根据你的参数,在每个
跑tpcds的query1: flink run -m yarn-cluster -d -p 100 -yn 20 -ys 5 -yjm 60g -ytm
30g 任务可以正常执行 flink run -m yarn-cluster -d -p 100 -yn 10 -ys 10 -yjm 60g -ytm
30g 任务在做hashjoin的时候就会失败 报错是No pooled slot available and request to
ResourceManager for new slot failed 搞不懂这有啥关系,求指教 faaron zheng
邮箱
25 matches
Mail list logo