我对legacy planner不是很了解。
你是否可以尝试一下blink planner呢？看下在blink planner是否也存在这个问题。
BTW，应该在1.11开始blink planner就是默认的planner了。
Kevin 于2020年4月24日周五 下午6:33写道：
> 老师你好。又来麻烦你了。planner用的默认的。
> 我感觉是不是我的表left join 太多了导致的
>
> DDL语句：
> DROP TABLE IF EXISTS t1_oa_loan_requests;
> CREATE TABLE t1_oa_loan_requests (
> `
Settings settings = Settings.builder()
.put("cluster.name", "es")
.put("thread_pool.generic.core", 5)
.put("thread_pool.generic.max", 10)
.put("processors", 5)
.build();
写了一个spring-java没有溢出，但是flink时候溢出了，我需要将network buffer配置大点吗。
因为低版本，只能用TransportClient，换了高版
多谢 zhisheng , 用你的方法解决了。
做完整的savepoint的时候， hdfs 地址 用hdfs://ip:port/ 的方式访问新集群的hdfs。不用nameservice 的方式
zhisheng 于2020年4月16日周四 下午4:37写道：
> > 如果我把任务迁移到另外一个集群，如何让它从老的集群的checkpoint 恢复
>
> 这种是不是可以先在旧集群对作业取消的时候做一次完整的 savepoint（地址填新集群的 HDFS 地址），然后在新集群的时候从 savepoint
> 启动
>
> Yangze Guo 于2020年4月15日周三 下午3:52
才注意到刚才的回复是单独发的，没有抄送到社区邮件列表。
我也不知道这个设计是出于什么考虑，已经抄送了小令和云邪，他们应该比较清楚这么设计的原因。
姬洪超 于2020年4月24日周五 下午4:59写道：
> 这是出于什么样的考虑啊？
>
> --
> 发件人：Benchao Li
> 发送时间：2020年4月24日(星期五) 16:55
> 收件人：姬洪超
> 主 题：Re: Last_Value为啥不能取最近为NULL的值
>
> 看了一眼last_va
这个功能暂时还没有，FLIP-124[1] 之后应该是可以的。
[1]
https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=148645988
oliver 于2020年4月24日周五 下午4:57写道：
> > 你的需求是需要把这一条消息解析成多个record么？
> 是的，之前使用Flink 1.8时是通过自定义UDTF结合LATERAL TABLE(My_EXPLODE(__message)) as
> T(msg)，其中__message存放着kafka的整条消息，My_EXPLODE是自定义UDT
> 你的需求是需要把这一条消息解析成多个record么？
是的，之前使用Flink 1.8时是通过自定义UDTF结合LATERAL TABLE(My_EXPLODE(__message)) as
T(msg)，其中__message存放着kafka的整条消息，My_EXPLODE是自定义UDTF负责解析成多个record
flink-sql-connector-kafka插件是否也不支持获取整行消息？，比如以字符串的形式读取[{"a":"1","b":2,"obj":{"c":"3"}}]到__message
> 2020年4月24日 下午4:41，Benchao Li 写道：
>
没太理解你的问题，
1，你说last_value UDF，指的是你自己实现了一个last_value么？还是用的内置函数last_value？
2， 实现数据回撤是什么意思呢？
姬洪超 于2020年4月24日周五 下午4:23写道：
> 嗨：
>
>
> 我利用Last_Value的UDF实现数据回撤功能时，发现无法取到最近数据的null值，这个是我使用不当还是就是无法获取NUll啊，如果是无法获取NULL的话，为什么啊？谢谢
>
>
--
Benchao Li
School of Electronics Engineering and Computer Science,
Hi，
能否提供一下完整的DDL以及query呢？
此外，你用的是哪个版本，哪个planner？
Kevin 于2020年4月24日周五 下午4:36写道：
>
> HI ALL ：
> 打扰大家了。我用flink sql 关联数据。出现了如下报错。有人遇到过么 谢谢
> a.sales_dept_name是string类型
> p.second_province也是string类型
>
> 日志报错：
> 2020-04-24 16:35:14,873 INFO org.apache.flink.table.module.ModuleManager
>
这个好像还不太能支持。
你的需求是需要把这一条消息解析成多个record么？
Oliver 于2020年4月24日周五 下午4:27写道：
> hi，all：
> 网上有非常多的资料显示Flink SQL怎样定义嵌套的json属性以及json中某个属性为json数组的示例，
> 但是对于整个消息为一个数组（json array）的应该怎么处理？
> json示例如下：
> [
> {
> "a": "1",
> "b": 2
> }
> ]
--
Benchao Li
School of Elec
好的 Xintong，我测试一波，非常感谢你的帮助 👍😁
Xintong Song 于2020年4月24日周五 上午11:48写道：
> 抱歉，我刚刚说的是 docker-compose.yaml 是只用 docker 不用 kubernetes 的情况。
>
> 对于 kubernetes，如果你是按照官方文档[1]推荐的方法部署 flink 的，那么直接把这个参数加在
> taskmanager-deployment.yaml 的 args 处应该就可以了。
>
> > args:
>
> - taskmanager
>
> *- Dtaskmanager.heap.size=20
HI ALL ：
打扰大家了。我用flink sql 关联数据。出现了如下报错。有人遇到过么 谢谢
a.sales_dept_name是string类型
p.second_province也是string类型
日志报错：
2020-04-24 16:35:14,873 INFO org.apache.flink.table.module.ModuleManager
- Cannot find FunctionDefinition is not null from any loaded modules
2020-04-24 16:35:14,
hi??all??
??Flink
SQL??jsonjsonjson
json array??
json??
[
{
"a": "1",
"b": 2
}
]
嗨：
我利用Last_Value的UDF实现数据回撤功能时，发现无法取到最近数据的null值，这个是我使用不当还是就是无法获取NUll啊，如果是无法获取NULL的话，为什么啊？谢谢
非常感谢, 我用的flink-1.9.2 ， 但是直接将代码copy过来可以用了！
Jingsong Li 于2020年4月24日周五 下午3:02写道：
> 1.10里面有TableUtils了，里面有collectToList
>
>
> Best,
> Jingsong Lee
>
> On Fri, Apr 24, 2020 at 2:49 PM jun su wrote:
>
> > hi all,
> >
> > 找到了源码中BatchTableEnvUtil类使用了CollectTableSink来做collect的逻辑,
> > 但是下方代码运用了源码内部的priva
1.10里面有TableUtils了，里面有collectToList
Best,
Jingsong Lee
On Fri, Apr 24, 2020 at 2:49 PM jun su wrote:
> hi all,
>
> 找到了源码中BatchTableEnvUtil类使用了CollectTableSink来做collect的逻辑,
> 但是下方代码运用了源码内部的private方法, 看起来不允许外部调用:
>
> def collect[T](
> tEnv: TableEnvironment,
> table: Table,
> sink: C
15 matches
Mail list logo
