Re: 咨询 Flink 在 OLAP、即席查询场景下的应用问题

2022-07-13 文章 lizhiqiang
1. 可以考虑一下 flink sql gateway 的方式去进行提交。项目地址: https://github.com/ververica/flink-sql-gateway 2. 可以集成一下 kyuubi。功能更强一些,但是需要一定的改造量。 项目地址: https://github.com/apache/incubator-kyuubi > 2022年7月14日 11:54,barbzhang(张博) 写道: > >

咨询 Flink 在 OLAP、即席查询场景下的应用问题

2022-07-13 文章 张博
您好,我目前在调研Flink对于即席查询场景的支持程度,打算通过Flink查询HDFS中的数据,对查询实效性要求高,查询平均时延要求在秒级。 我调研了Flink集群的多种部署模式,发现Standalone on k8s 模式下的 Flink

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-13 文章 Biao Geng
hi, 你有试过提交flink example(比如wordcount作业)吗?如果报了一样的错误的话,可以检查一下你的flink/lib目录下是否有放多余的YARN配置(比如运行grep -irn "0.0.0.0" $FLINK_HOME);如果example可以成功提交,可以看看是不是你的作业jar里打进了错误的YARN配置。 Best, Biao Geng lishiyuan0506 于2022年7月14日周四 11:06写道: > 您好,环境变量里面有,而且flink的conf.sh也设置了 > > > lishiyuan0506 >

Re: 邮箱无法退订

2022-07-13 文章 Xingbo Huang
Hi,退订请发送至邮箱user-zh-unsubscr...@flink.apache.org Best, Xingbo Summer 于2022年7月14日周四 11:03写道: > > 你好,这是什么原因? > 使用网页登录华为邮箱,无法退订。 > > > Reporting-MTA: dns; localhost > Received-From-MTA: dns; localhost > > Final-Recipient: rfc822; user-zh-unsubscr...@flink.apache.org > Action: failed > Status: 504

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-13 文章 lishiyuan0506
您好,环境变量里面有,而且flink的conf.sh也设置了 | | lishiyuan0506 | | lishiyuan0...@163.com | Replied Message | From | Yang Wang | | Date | 07/14/2022 11:00 | | To | user-zh | | Subject | Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030 | 确认一下你是否正确设置了HADOOP_CONF_DIR环境变量 Best, Yang

Re:Re: ​请问是否有计划合并blink gemini到flink的计划

2022-07-13 文章 蔡荣
谢谢回复 在 2022-07-13 19:14:02,"Yuan Mei" 写道: >目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend >使用,短期还是会以提升 Gemini 更方面性能为主,后续会逐步将主要部分开源的。 > >Best >Yuan > >On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote: > >> >>

邮箱无法退订

2022-07-13 文章 Summer
你好,这是什么原因? 使用网页登录华为邮箱,无法退订。 Reporting-MTA: dns; localhost Received-From-MTA: dns; localhost Final-Recipient: rfc822; user-zh-unsubscr...@flink.apache.org Action: failed Status: 504 5.5.2 : Helo command rejected: need fully-qualified hostname Diagnostic-Code: smtp; 504 5.5.2 : Helo command

Re: Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-13 文章 Yang Wang
确认一下你是否正确设置了HADOOP_CONF_DIR环境变量 Best, Yang lishiyuan0506 于2022年7月14日周四 09:41写道: > 打扰大家一下,请问一下各位在yarn提交flink的时候,有没有遇到过Retrying connect to server: > 0.0.0.0/0.0.0.0:8030这个异常 > > > hadoop的classpath没问题,Spark和MR在Yarn上跑也没问题,就flink有这样的问题 > > > | | > lishiyuan0506 > | > | > lishiyuan0...@163.com > | >

Re: flink中文邮件列表不显示其他用户提问的flink问题。

2022-07-13 文章 yanfei lei
hi, 列表是指您的收件箱列表吗?您可以通过 https://lists.apache.org/list.html?user-zh@flink.apache.org 查看其他用户的问题和答案。 Best, Yanfei 张锴 于2022年7月14日周四 09:17写道: > 我重新订阅了flink中文邮件,但是列表里没有显示其他用户提问或者解答有关flink相关的问题和答案,这是什么原因? >

Retrying connect to server: 0.0.0.0/0.0.0.0:8030

2022-07-13 文章 lishiyuan0506
打扰大家一下,请问一下各位在yarn提交flink的时候,有没有遇到过Retrying connect to server: 0.0.0.0/0.0.0.0:8030这个异常 hadoop的classpath没问题,Spark和MR在Yarn上跑也没问题,就flink有这样的问题 | | lishiyuan0506 | | lishiyuan0...@163.com |

Re:Re: ​请问是否有计划合并blink gemini到flink的计划

2022-07-13 文章 mack143
退订 在 2022-07-13 19:14:02,"Yuan Mei" 写道: >目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend >使用,短期还是会以提升 Gemini 更方面性能为主,后续会逐步将主要部分开源的。 > >Best >Yuan > >On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote: > >> >>

flink中文邮件列表不显示其他用户提问的flink问题。

2022-07-13 文章 张锴
我重新订阅了flink中文邮件,但是列表里没有显示其他用户提问或者解答有关flink相关的问题和答案,这是什么原因?

订阅了flink中文邮件列表找不到用户邮件提问

2022-07-13 文章 张锴
我最近重新订阅了flink中文邮件列表,但是我在收件箱中并没有显示大家提问及解答关于flink相关的问题。这是什么情况?

Re: 关于 storm 转 flink 的一些咨询

2022-07-13 文章 yidan zhao
谢谢回答。 Xingbo Huang 于2022年7月13日周三 16:55写道: > > Hi, > > 简单来说,如果你的作业逻辑中只使用了纯java的算子,比如你写的是一个没有使用 Python udf 的sql/table api > 作业时,那么运行时就不需要对Python有需求,但是如果你使用了python udf,或者是你用的是python datastream > api来编写你的作业,那么运行时就对python环境有要求,毕竟那些python的自定义函数逻辑是需要Python解释器来执行的。 > >

Re: ​请问是否有计划合并blink gemini到flink的计划

2022-07-13 文章 Yuan Mei
目前Gemini只用在 ververica platform 中作为 aliyun 商业化版本的 default statebackend 使用,短期还是会以提升 Gemini 更方面性能为主,后续会逐步将主要部分开源的。 Best Yuan On Wed, Jul 13, 2022 at 6:10 PM Hangxiang Yu wrote: > > 你好,是从阿里云产品的Blink迁移到Flink吗?这个迁移过程可以参考[1],Gemini在“实时计算Flink版”中的介绍和使用方式可以参考[2][3]。 > 关于合并到社区,短期内没有相关计划。 > > [1]

Re: ​请问是否有计划合并blink gemini到flink的计划

2022-07-13 文章 Hangxiang Yu
你好,是从阿里云产品的Blink迁移到Flink吗?这个迁移过程可以参考[1],Gemini在“实时计算Flink版”中的介绍和使用方式可以参考[2][3]。 关于合并到社区,短期内没有相关计划。 [1] https://help.aliyun.com/document_detail/421043.html [2] https://help.aliyun.com/document_detail/414255.html [3] https://help.aliyun.com/document_detail/414256.html Best, Hangxiang. On Wed, Jul

Re: 关于 storm 转 flink 的一些咨询

2022-07-13 文章 Xingbo Huang
Hi, 简单来说,如果你的作业逻辑中只使用了纯java的算子,比如你写的是一个没有使用 Python udf 的sql/table api 作业时,那么运行时就不需要对Python有需求,但是如果你使用了python udf,或者是你用的是python datastream api来编写你的作业,那么运行时就对python环境有要求,毕竟那些python的自定义函数逻辑是需要Python解释器来执行的。 pyflink的runtime有两种执行模式process和thread。process模式是基于apache beam

Re: 关于 storm 转 flink 的一些咨询

2022-07-13 文章 yidan zhao
目前看了下pyflink,想了解下,pyflink的任务实际运行时也是JAVA+python双环境吗。 涉及java和python交互等是吗。性能相比java直接开发的任务会有区别吗? yidan zhao 于2022年7月12日周二 19:27写道: > > 公司有部分项目是基于 storm 开发的,目前想进行改造,计划用 flink。 > > 初步看了下代码,发现 storm 中实现都是通过 multi-lang 方式各种调用 shell、python > 实现。这些shell和python主要通过storm提供的一个 storm.py 基础包实现和 父进程 >

​请问是否有计划合并blink gemini到flink的计划

2022-07-13 文章 蔡荣
看到一篇文章《数据处理能力相差 2.4 倍?Flink 使用 RocksDB 和 Gemini 的性能对比实验》, https://developer.aliyun.com/article/770793, 请问是否有计划合并gemini到flink的计划?

IF IS NULL 函数运行报错:NullPointerException

2022-07-13 文章 RS
Hi, 版本:Flink-1.15.1 模式:单机 s1为kafka的source表,已定义, g_name为s1表的字段,string类型 select `g_name` from s1; 这个运行正常,有数据输出 然后加上 IF 语句,则会报错: Flink SQL> select if(`g_name` is null, 'no', `g_name`) from s1; [ERROR] Could not execute SQL statement. Reason: