LEGACY('RAW', 'ANY')对应sql中数据类型改为：MAP，仍然报错，异常：
org.apache.flink.table.api.TableException: A raw type backed by type
information has no serializable string representation. It needs to be
resolved into a proper raw type.
方便说下具体实现细节吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Thanks Zhu Zhu for being our release manager and everyone else who made the
release possible!
Best Regards,
Yu
On Thu, 17 Sep 2020 at 13:29, Zhu Zhu wrote:
> The Apache Flink community is very happy to announce the release of Apache
> Flink 1.11.2, which is the second bugfix release for the Ap
在本地IDEA里测试处理相同TOPIC正常，但在线上环境出现了这样的异常：
org.apache.kafka.common.serialization.StringSerializer is not an instance of
org.apache.kafka.common.serialization.Serializer。将StringSerializer 换成
ByteArraySerializer也是类似错误，不知道该如何解决该问题了。请问还有其它思路来解决这个问题吗？
业务逻辑非常简单：从SOURCE表内过滤数据到sink表。
flink版本：1.11.1 kafka版本：2
可以写一个group_array的udaf
select * from aa as a left join (
select userId,group_array(row(userId, userBankNo, userBankNo)) from bb
group by userId
) as b where a.userId=b.userId
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi,
这种模式目前还不支持，因为现在没有动态添加jar的功能，所以需要事先把依赖的jar准备好。
On Mon, Sep 21, 2020 at 9:47 AM Husky Zeng <568793...@qq.com> wrote:
> Hi all，
>
> 在提交的flink任务中使用了hive的udf时，任务的运行会依赖一些udf相关的jar包，配置文件等资源。
>
>
> 在我们的生产环境中，这些udf相关的jar包，配置文件都由hive的metaStore统一管理着，因此，flink在同hive交互时，是可以拿到这些文件的远程存储路径的（hdfs路径）。
>
>
> 我们
大家好，在测试flink消费速率时，发现数据处理比较慢，大概一个task每秒处理1000条左右，经过查看UI界面，发现读取kafka数据源这块source反压达到1，请问有这方面经验吗？
主要是我没有完整的所有单元case， 总是感觉写的不完整。
郭士榕 于2020年9月21日周一 上午11:08写道：
>
>
>
> 就是要一个一个判断做解析下推的，比如你举的SqlJoin例子, 然后继续left，right下推。
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-09-21 10:50:31，"Harold.Miao" 写道：
> >主要是嵌套回溯特别复杂， 例如getFrom之后后面可能又是嵌套一个SqlJoin等等类似情况太多。 还有要做很多的类型转换。
> >
> >郭士榕 于2020年9月21日周一 上午10:21写道：
> >
Hi
退订请发邮件到 user-zh-unsubscr...@flink.apache.org
详情可以参考文档[1]
[1] https://flink.apache.org/community.html#mailing-lists
Best,
Congxian
Han Xiao(联通集团联通支付有限公司总部) 于2020年9月18日周五 下午2:52写道：
>
> 退订
>
> 如果您错误接收了该邮件，请通过电子邮件立即通知我们。请回复邮件到
> hqs-s...@chinaunicom.cn，即可以退订此邮件。我们将立即将您的信息从我们的发送目录中删除。
> I
Thanks for being the release manager Zhu Zhu and everyone involved in!
Best,
Congxian
Weijie Guo 2 于2020年9月18日周五 下午11:42写道：
> Good job! Very thanks @ZhuZhu for driving this and thanks for all
> contributed
> to the release!
>
> best,
> Weijie
> Zhu Zhu-2 wrote
> > The Apache Flink community is
你可以通过 groupby collect 来将一对多的关系聚合起来，代码类似如下：
select userId, collect(userBankTime)
from (
select userId, concat(userBankNo, '_', createTime) as userBankTime
from aa as a left join bb as b where a.userId=b.userId
) group by userId;
Best,
Jark
On Mon, 21 Sep 2020 at 12:20, Li,Qian(DXM,PB) wrot
请问：
我在使用Flink CDC SQL CLI的时候，想将关联的两张表的一对多关系
映射成ARRAY[ROW(userBankNo,createTime)]的形式，要怎么映射呢？
表aa
id, userId
表 bb
userId,userBankNo,createTime
select * from aa as a left join bb as b where a.userId=b.userId
谢谢！
就是要一个一个判断做解析下推的，比如你举的SqlJoin例子, 然后继续left，right下推。
在 2020-09-21 10:50:31，"Harold.Miao" 写道：
>主要是嵌套回溯特别复杂， 例如getFrom之后后面可能又是嵌套一个SqlJoin等等类似情况太多。 还有要做很多的类型转换。
>
>郭士榕 于2020年9月21日周一 上午10:21写道：
>
>> 可以使用calcite。解析kind为CREATE_TABLE的语句，解析INSERT，下推from的表。
>>
>>
>>
>>
>>
>> 在 2020-09-21 10:
hello，我也遇到了类似的问题，最终的解决方案能分享下吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
主要是嵌套回溯特别复杂， 例如getFrom之后后面可能又是嵌套一个SqlJoin等等类似情况太多。 还有要做很多的类型转换。
郭士榕 于2020年9月21日周一 上午10:21写道：
> 可以使用calcite。解析kind为CREATE_TABLE的语句，解析INSERT，下推from的表。
>
>
>
>
>
> 在 2020-09-21 10:12:13，"Harold.Miao" 写道：
> >hi all
> >
> >请教大家在复杂sql语句中parse所有的table name是怎么实现的。
> >
> >谢谢
> >
> >--
> >
> >Best Regard
单个app的网卡输出有上限是因为读取 kafka 的并发是有限的：
对一个 group，为了保证同一 partition 内消息的有序，需要确保同一个 partition 只有一个 consumer.因此你的
partition 个数决定了 consumer 的个数，是有上限的。
多个 app 是多个 group，所以观察到网卡流量也就上来了
所以本质上还是得看下当前是 kafka 消费的瓶颈还是计算时效的问题，如果是前者就增加partition，后者提高并发才有用。
刚接触flink时看到别人的一个情况：
1. kafka partition > flink parallelism，一
可以使用calcite。解析kind为CREATE_TABLE的语句，解析INSERT，下推from的表。
在 2020-09-21 10:12:13，"Harold.Miao" 写道：
>hi all
>
>请教大家在复杂sql语句中parse所有的table name是怎么实现的。
>
>谢谢
>
>--
>
>Best Regards,
>Harold Miao
hi all
请教大家在复杂sql语句中parse所有的table name是怎么实现的。
谢谢
--
Best Regards,
Harold Miao
Hi all，
在提交的flink任务中使用了hive的udf时，任务的运行会依赖一些udf相关的jar包，配置文件等资源。
在我们的生产环境中，这些udf相关的jar包，配置文件都由hive的metaStore统一管理着，因此，flink在同hive交互时，是可以拿到这些文件的远程存储路径的（hdfs路径）。
我们希望flink任务在提交时能够只提交这些从hive中得到的文件路径，而不必传输这些文件（在flink外围去做这样一个查询hive然后下载文件的事情，在生产环境中相当于多了一个步骤，带来了不必要的风险，因此希望能够在flink任务运行时自动完成这些事情）。在这样的方案里，fl
Hi all，
在提交的flink任务中使用了hive的udf时，任务的运行会依赖一些udf相关的jar包，配置文件等资源。
在我们的生产环境中，这些udf相关的jar包，配置文件都由hive的metaStore统一管理着，因此，flink在同hive交互时，是可以拿到这些文件的远程存储路径的（hdfs路径）。
我们希望flink任务在提交时能够只提交这些从hive中得到的文件路径，而不必传输这些文件（在flink外围去做这样一个查询hive然后下载文件的事情，在生产环境中相当于多了一个步骤，带来了不必要的风险，因此希望能够在flink任务运行时自动完成这些事情）。在这样的方案里，fl
19 matches
Mail list logo
