[ANNOUNCE] Apache Flink Kubernetes Operator 1.6.1 released
The Apache Flink community is very happy to announce the release of Apache Flink Kubernetes Operator 1.6.1. Please check out the release blog post for an overview of the release: https://flink.apache.org/2023/10/27/apache-flink-kubernetes-operator-1.6.1-release-announcement/ The release is available for download at: https://flink.apache.org/downloads.html Maven artifacts for Flink Kubernetes Operator can be found at: https://search.maven.org/artifact/org.apache.flink/flink-kubernetes-operator Official Docker image for Flink Kubernetes Operator applications can be found at: https://hub.docker.com/r/apache/flink-kubernetes-operator The full release notes are available in Jira: https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315522=12353784 We would like to thank all contributors of the Apache Flink community who made this release possible! Regards, Rui Fan
Re: Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败
hiveserver2 endpoint 就是让 flink gateway 直接变成 hive server2，对外来讲它就是 hive server2 了，它可以直接跟已有的跟 hive server2 的工具配合一起使用。 但是现在你其实用的是 flink jdbc driver，这个并不是跟 hive server2 交互，它就是跟 flink gateway 交互，所以你用hive server2的模式启动，它就不认识了。 casel.chen 于2023年10月30日周一 14:36写道： > > 果然不指定endpoint为hiveserver2类型后使用hive beeline工具连接上了。感谢！ > 不过我仍然有个疑问，看官网文档上有写提供 hiveserver2 endpoint > 是为了兼容hive方言，按理也应该可以使用beeline连接上，因为原本beeline支持连接hiveserver2 > 以下是原文： > HiveServer2 Endpoint is compatible with HiveServer2 wire protocol and allows > users to interact (e.g. submit Hive SQL) with Flink SQL Gateway with existing > Hive clients, such as Hive JDBC, Beeline, DBeaver, Apache Superset and so on. > 这里有提到Beeline工具，难道不是 beeline> !connect jdbc:flink://localhost:8083 这样的连接方式了？ > > > > > > > > > > > > > > > > > > > > 在 2023-10-30 11:27:15，"Benchao Li" 写道： > >Hi casel, > > > >Flink JDBC 链接到 gateway 目前使用的是 flink 的 gateway 接口，所以你在启动 gateway > >的时候不用指定 endpoint 为 hiveserver2 类型，用 Flink 默认的 gateway endpoint 类型即可。 > > > >casel.chen 于2023年10月29日周日 17:24写道： > >> > >> 1. 启动flink集群 > >> bin/start-cluster.sh > >> > >> > >> 2. 启动sql gateway > >> bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 > >> > >> > >> 3. 将flink-sql-jdbc-driver-bundle-1.18.0.jar放到apache-hive-3.1.2-bin/lib目录下 > >> > >> > >> 4. 到apache-hive-3.1.2-bin目录下启动beeline连接sql gateway，提示输入用户名和密码时直接按的回车 > >> $ bin/beeline > >> SLF4J: Class path contains multiple SLF4J bindings. > >> SLF4J: Found binding in > >> [jar:file:/Users/admin/dev/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class] > >> SLF4J: Found binding in > >> [jar:file:/Users/admin/dev/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] > >> SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an > >> explanation. > >> SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory] > >> Beeline version 3.1.2 by Apache Hive > >> beeline> !connect jdbc:flink://localhost:8083 > >> Connecting to jdbc:flink://localhost:8083 > >> Enter username for jdbc:flink://localhost:8083: > >> Enter password for jdbc:flink://localhost:8083: > >> Failed to create the executor. > >> 0: jdbc:flink://localhost:8083 (closed)> CREATE TABLE T( > >> . . . . . . . . . . . . . . . . . . . .> a INT, > >> . . . . . . . . . . . . . . . . . . . .> b VARCHAR(10) > >> . . . . . . . . . . . . . . . . . . . .> ) WITH ( > >> . . . . . . . . . . . . . . . . . . . .> 'connector' = 'filesystem', > >> . . . . . . . . . . . . . . . . . . . .> 'path' = 'file:///tmp/T.csv', > >> . . . . . . . . . . . . . . . . . . . .> 'format' = 'csv' > >> . . . . . . . . . . . . . . . . . . . .> ); > >> Failed to create the executor. > >> Connection is already closed. > >> > > > > > >-- > > > >Best, > >Benchao Li -- Best, Benchao Li
Re:Re:Re:回复： flink sql不支持show create catalog 吗？
谢谢解答，我查了一下目前有两种CatalogStore实现，一个是基于内存的，另一个是基于文件系统的。 请问要如何配置基于文件系统的CatalogStore？这个文件可以在对象存储上吗？flink sql client要如何使用这个CatalogStore? 谢谢！ 在 2023-10-30 10:28:34，"Xuyang" 写道： >Hi, CatalogStore 的引入我理解是为了Catalog能被更好地管理、注册和元数据存储，具体motivation可以参考Flip295[1]. >我的理解是倒不是说“引入CatalogStore后才可以提供show create >catalog语法支持”，而是之前没有直接存储catalog配置的地方和能力，在CatalogStore之后，天然支持了对catalog配置的存储，因此这个feat就可以直接快速的支持了。 > > > > >[1] >https://cwiki.apache.org/confluence/display/FLINK/FLIP-295%3A+Support+lazy+initialization+of+catalogs+and+persistence+of+catalog+configurations > > > > >-- > >Best！ >Xuyang > > > > > >在 2023-10-29 20:34:52，"casel.chen" 写道： >>请问flink 1.18引入的CatalogStore是为了解决什么问题呢？为什么引入CatalogStore后才可以提供show create >>catalog语法支持？ >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >> >>在 2023-10-20 17:03:46，"李宇彬" 写道： >>>Hi Feng >>> >>> >>>我之前建过一个jira（https://issues.apache.org/jira/browse/FLINK-24939），引入CatalogStore后，实现这个特性的时机应该已经成熟了，我们这边业务场景里用到了很多catalog，管理起来很麻烦，有这个特性会好很多。 >>>| | >>> 回复的原邮件 >>>| 发件人 | Feng Jin | >>>| 发送日期 | 2023年10月20日 13:18 | >>>| 收件人 | | >>>| 主题 | Re: flink sql不支持show create catalog 吗？ | >>>hi casel >>> >>> >>>从 1.18 开始，引入了 CatalogStore，持久化了 Catalog 的配置，确实可以支持 show create catalog 了。 >>> >>> >>>Best, >>>Feng >>> >>>On Fri, Oct 20, 2023 at 11:55 AM casel.chen wrote: >>> >>>之前在flink sql中创建过一个catalog，现在想查看当初创建catalog的语句复制并修改一下另存为一个新的catalog，发现flink >>>sql不支持show create catalog 。 >>>而据我所知doris是支持show create catalog语句的。flink sql能否支持一下呢？
flink 1.18.0的sql gateway支持提交作业到k8s上运行吗？
想问一下目前flink 1.18.0的sql gateway只支持提交作业到本地运行吗？能否支持提交作业到yarn或k8s上运行呢？
Re:Re: flink 1.18.0 使用 hive beeline + jdbc driver连接sql gateway失败
果然不指定endpoint为hiveserver2类型后使用hive beeline工具连接上了。感谢！ 不过我仍然有个疑问，看官网文档上有写提供 hiveserver2 endpoint 是为了兼容hive方言，按理也应该可以使用beeline连接上，因为原本beeline支持连接hiveserver2 以下是原文： HiveServer2 Endpoint is compatible with HiveServer2 wire protocol and allows users to interact (e.g. submit Hive SQL) with Flink SQL Gateway with existing Hive clients, such as Hive JDBC, Beeline, DBeaver, Apache Superset and so on. 这里有提到Beeline工具，难道不是 beeline> !connect jdbc:flink://localhost:8083 这样的连接方式了？ 在 2023-10-30 11:27:15，"Benchao Li" 写道： >Hi casel, > >Flink JDBC 链接到 gateway 目前使用的是 flink 的 gateway 接口，所以你在启动 gateway >的时候不用指定 endpoint 为 hiveserver2 类型，用 Flink 默认的 gateway endpoint 类型即可。 > >casel.chen 于2023年10月29日周日 17:24写道： >> >> 1. 启动flink集群 >> bin/start-cluster.sh >> >> >> 2. 启动sql gateway >> bin/sql-gateway.sh start -Dsql-gateway.endpoint.type=hiveserver2 >> >> >> 3. 将flink-sql-jdbc-driver-bundle-1.18.0.jar放到apache-hive-3.1.2-bin/lib目录下 >> >> >> 4. 到apache-hive-3.1.2-bin目录下启动beeline连接sql gateway，提示输入用户名和密码时直接按的回车 >> $ bin/beeline >> SLF4J: Class path contains multiple SLF4J bindings. >> SLF4J: Found binding in >> [jar:file:/Users/admin/dev/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar!/org/slf4j/impl/StaticLoggerBinder.class] >> SLF4J: Found binding in >> [jar:file:/Users/admin/dev/apache-hive-3.1.2-bin/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] >> SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an >> explanation. >> SLF4J: Actual binding is of type [org.slf4j.impl.Reload4jLoggerFactory] >> Beeline version 3.1.2 by Apache Hive >> beeline> !connect jdbc:flink://localhost:8083 >> Connecting to jdbc:flink://localhost:8083 >> Enter username for jdbc:flink://localhost:8083: >> Enter password for jdbc:flink://localhost:8083: >> Failed to create the executor. >> 0: jdbc:flink://localhost:8083 (closed)> CREATE TABLE T( >> . . . . . . . . . . . . . . . . . . . .> a INT, >> . . . . . . . . . . . . . . . . . . . .> b VARCHAR(10) >> . . . . . . . . . . . . . . . . . . . .> ) WITH ( >> . . . . . . . . . . . . . . . . . . . .> 'connector' = 'filesystem', >> . . . . . . . . . . . . . . . . . . . .> 'path' = 'file:///tmp/T.csv', >> . . . . . . . . . . . . . . . . . . . .> 'format' = 'csv' >> . . . . . . . . . . . . . . . . . . . .> ); >> Failed to create the executor. >> Connection is already closed. >> > > >-- > >Best, >Benchao Li
