我也遇到相同的问题了, 区别在于我是有一个springboot的项目提交的sql, 1.11.3上是好的,
换成1.12.1之后就不行了.sql-client本身可以执行, 但是我自己在springboot里面就提交不了sql了. 报的错是一样的,
求问楼主最后怎么解决的, 我以为应该是包有冲突, 但是具体是哪个jar包有冲突我还说不上来.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
我也遇到类似的问题了, 求问楼主最后怎么解决的.
--
Sent from: http://apache-flink.147419.n8.nabble.com/
; 【问题描述】
> 在没开启Kerberos认证时，可以正常读写hive表
>
> 开启Kerberos认证后，
> 启动时可以正常读取到hive metastore的元数据信息，读写不了表。
>
>
> 【sql-client.sh embedded】
> Flink SQL> show tables;
> dimension_table
> dimension_table1
> test
>
>
> Flink SQ
7, 2021 at 5:49 PM 861277...@qq.com <861277...@qq.com> wrote:
>
>> 环境：
>> flink1.12.1
>> hive2.1.0
>> CDH6.2.0
>>
>>
>> 【问题描述】
>> 在没开启Kerberos认证时，可以正常读写hive表
>>
>> 开启Kerberos认证后，
>> 启动时可以正常读取到hive metastore
;
>
>
> ---原始邮件---
> 发件人: "Rui Li" 发送时间: 2021年3月8日(周一) 中午12:12
> 收件人: "user-zh" 主题: Re: 【flink sql-client 读写 Kerberos认证的hive】
>
>
> Hi，
>
>
> 从你发的stacktrace来看，走到了set_ugi方法说明client认为server没有开启kerberos。确认一下你HiveCatalog这边指定的hive-site.xml是否配置
在做实时数仓的时候，有需求要使用flink sql实现全局的row_number(),请教下各位有啥方案吗？
目前想的是，将流进行row
number处理后存储到hbase中，然后每次处理流数据都和hbase进行关联，row_number处理后将最新结果存入hbase中，即通过对hbase的实时读写实现全局row_number().
请问以上方法可行不，，实时读hbase关联，然后在写入最新数据到hbase，效率会有问题吗，这样能满足实时的需求吗？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi， 请问：
env.setParallelism(8);
source = select * from table1,
Table filterTable = source.filter(x-> x>10).limit(1);
try (CloseableIterator rows = filterTable.execute().collect()) {
while (rows.hasNext()) {
Row r = rows.next();
String a = r.getField(1).toString();
我希望能将某些维度下过去24小时的每一小时的统计结果计算出，然后合并保存在一个map中
在写SQL时，我尝试将多条计算结果合并保存至Map中：
create table to_redis(
biz_name STRING,
mchnt_id STRING,
zb_value MAP
) WITH (
'connector' = 'redis',
'redis-mode' = 'single',
'host' = '172.30.251.225',
'port' = '10006',
'password' = 'xxx',
'c
如下
CREATE TEMPORARY FUNCTION get_seniority(tenure INT64) AS (
CASE WHEN tenure < 1 THEN "analyst"
WHEN tenure BETWEEN 1 and 3 THEN "associate"
WHEN tenure BETWEEN 3 and 5 THEN "senior"
WHEN tenure > 5 THEN "vp"
ELSE "n/a"
END
);
SELECT name
, ge
如何获取flink sql的血缘关系？如：表A -> 表B。有代码示例吗？谢谢！
延迟join主要是为了解决维表数据后于事实表数据到达问题。java代码可以实现，那flink sql这块能否通过sql hint解决呢？有没有示例？
flink sql
cdc写入kafka，期望kafka消息带上数据库database，表table，变更时间和变更标记+I/-U/+U/-D这几个特殊字段，目前来看是做不到的，对吗？
需求背景：
因为不同Flink版本SQL底层实现不相同，同一个带状态的Flink SQL作业目前跨版本升级社区还不支持。所以如果基于Flink
SQL开发实时计算平台的话，平台需要支持不同Flink版本。早期的Flink SQL作业用的是1.11，最新的Flink SQL作业采用的是1.13开发的。
而让平台支持不同Flink版本，我能想到有三种实现方案：
1. 平台直接调用 flink run 或 flink run-application 提交作业
优点：实现简单，每个flink版本都会带这个shell脚本
缺点：受限于脚本提供的功能，像语法检查、格式化sql、获取sql执行
Hello,
Flink sql cdc 还不支持获取元数据， 获取元数据的业务场景通常是怎么样的呢？
祝好，
Leonard
> 在 2021年6月23日，08:21，casel.chen 写道：
>
> flink sql cdc如何获取元数据？像数据库名，表名，操作类型，binlog产生时间等。
>
>
> create table xxx_tbl (
> k_op varchar, -- 操作类型
> k_database varchar, -- 数据库名
> k_table varc
大佬们好，目前Flink sql使用calcite 的Volcano
Planner进行逻辑计划优化，但是我们的实践下来觉得编译时间有点长，我们准备使用HepPlanner来做优化。请问，这么做是否会带来致命问题或者flink
sql 使用Volcano planner的原因是什么呢
突，
>>目前初步想法是每个udf绑定一个jarpath，使用独立的classloader进行加载，避免和主jar以及其他udf之间的依赖冲突
>>--
>>发件人：Michael Ran
>>发送时间：2021年7月22日(星期四) 20:07
>>收件人：user-zh ; silence
>>主 题：Re:flink sql 依赖隔离
>>
>>通过任务进行隔离引用呗。你们美团已经是k8s了吧？
>>在 2021-07-05 14:06:53，"
Hi！
这是因为每次维表 join 都会向下游发送两条数据，一共发送了四条，所以最后 count 的结果为 4，是符合预期的。
为什么不直接对维表做 agg 呢？当然对维表做 agg 的话，这里就不是 lookup join 而是 process time temporal
table join 了。
carlc 于2021年8月4日周三 上午10:41写道：
> 请教下如何在维表上做聚合操作? 如下操作与预期不符合，不知道是姿势不正确还是其他原因，麻烦大佬些指教下 ~
>
> -- 模拟需求(有点牵强...):
> -- 过滤 kafka_user_event 中 event_
感谢大佬回复，我尝试着换种写法，但这样些的话会直接报错。
create view v_bl_user_count as (
select user_id, count(1)
from mysql_user_blacklist
group by user_id
);
select t1.`user_id`
, t1.`event_type`
, t1.`current_ts`
from kafka_user_event t1
left join v_bl_user_count FOR SYSTEM_TIME AS OF t1.`proc_time
Hi！
我查了一下，processing time temporal join 确实还没有实现... 这里可能需要变成 event time temporal
join[1] 或者双流 join 了。但更好的方法可能是维表本身就已经计算好所需的数据。
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/dev/table/sql/queries/joins/#event-time-temporal-join
carlc 于2021年8月4日周三 下午3:57写道：
> 感谢大佬回复，我尝试
邮件 --
> 发件人:
> "user-zh"
>
> 发送时间: 2021年8月4日(星期三) 下午4:44
> 收件人: "user-zh
tream);
tEnv.registerTable("S", summedTable);
tEnv.executeSql("SELECT f0, f1 FROM S").print();
casel.chen 于2021年9月17日周五 下午6:05写道：
> 今天遇到一个业务场景用到count window，查了下Flink官网目前Flink SQL只支持time
> window，问一下官方是否打算sql支持count window呢？
> 如果没有计划的话，自己要如何实现？是否可以像flink 1.13引入的cumulate window写一个自定义窗口函数呢？谢谢！
tEnv.fromDataStream(summedStream);
> tEnv.registerTable("S", summedTable);
> tEnv.executeSql("SELECT f0, f1 FROM S").print();
>
> casel.chen 于2021年9月17日周五 下午6:05写道：
>
> > 今天遇到一个业务场景用到count window，查了下Flink官网目前Flink SQL只支持time
> > window，问一下官方是否打算sql支持count window呢？
> > 如果没有计划的话，自己要如何实现？是否可以像flink 1.13引入的cumulate window写一个自定义窗口函数呢？谢谢！
>
业务中使用flink sql group by操作后想收集所有的数据，如下示例：
kafka源表：
班级 学号 姓名 年龄
1 20001张三 15
2 20011李四 16
1 20002王五 16
2 20012吴六 15
create table source_table (
class_no: INT,
student_no: INT,
name: STRING,
age: INT
Hi！
感谢提出问题。方案一应该是最合适的，“算子名称长度超过限制而失败”不是期望行为，具体是什么样的错误栈？
casel.chen 于2021年12月1日周三 上午8:10写道：
> 我们有一个场景需要从一张kafka源表写很多不同告警规则到同一张告警目标表。规则数量大概有300多个，采用纯flink sql实现。
>
>
> 方案一是采用创建视图，将不同规则union all起来，再将视图插入目标表，发现算子都chain成了一个，因为flink
> sql算子的名称是flink sql内容，所以算子名称长度超过限制而失败。因而转向方案二
>
结果输出到upsert-kafka，1.13版本，upsert-kafka有两个参数可以在flink里面buffer，可以大大减少输出到kafka的消息的数量
casel.chen 于2021年12月23日周四 08:15写道：
> flink sql中aggregate without
> window产生的统计回撤流sink输出如果不做优化的话会随着source数据来一条就输出一条，这样会导致下游写入的压力会很大，例如mysql
> 请问这种统计回撤流sink输出优化的话要怎么cache起来取相同key的最后一条数据sink到下游?
> 可以再ov
结果输出到upsert-kafka，1.13版本，upsert-kafka有两个参数可以在flink里面buffer，可以大大减少输出到kafka的消息的数量
casel.chen 于2021年12月23日周四 08:15写道：
> flink sql中aggregate without
> window产生的统计回撤流sink输出如果不做优化的话会随着source数据来一条就输出一条，这样会导致下游写入的压力会很大，例如mysql
> 请问这种统计回撤流sink输出优化的话要怎么cache起来取相同key的最后一条数据sink到下游?
> 可以再ov
:
> flink sql中aggregate without
> window产生的统计回撤流sink输出如果不做优化的话会随着source数据来一条就输出一条，这样会导致下游写入的压力会很大，例如mysql
> 请问这种统计回撤流sink输出优化的话要怎么cache起来取相同key的最后一条数据sink到下游?
> 可以再over window开窗用last_value函数吗？over window支持作用在回撤流上吗？
>
>
> 例如有下面binlog cdc购买数据(订单购买金额会更新）：
>
>
-flush.max-rows
>参数
>
>[1] :
>https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/connectors/table/jdbc/
>
>
>Zhiwen Sun
>
>
>
>On Thu, Dec 23, 2021 at 8:15 AM casel.chen wrote:
>
>> flink sql中aggregate without
>> window产生的统计回撤流sink输出如果不做优化的
大大减少输出到kafka的消息的数量
>
>casel.chen 于2021年12月23日周四 08:15写道：
>
>> flink sql中aggregate without
>> window产生的统计回撤流sink输出如果不做优化的话会随着source数据来一条就输出一条，这样会导致下游写入的压力会很大，例如mysql
>> 请问这种统计回撤流sink输出优化的话要怎么cache起来取相同key的最后一条数据sink到下游?
>> 可以再over window开窗用last_value函数吗？over window支持
当source为kafka时，最大并发度由kafka分区决定的， 有没有办法在不增加kafka分区情况下提高整个任务的并发度呢?
Flink目前无法做到无缝升级，需要走stop-with-savepoint、start
job的流程，但是在这之间可以做一些优化来缩短恢复时间。比如，把新作业先启动起来，申请好资源，同时停掉老作业，将做好的savepoint用来触发新作业的执行。
casel.chen 于2022年11月29日周二 08:38写道：
> 线上有一个流量较大的flink sql作业需要升级添加业务字段，当前主要是kafka (canal) 多表关联写入 mongodb
> 数据同步场景，除了source offset外无其他状态，如何让用户对升级无感呢？
> 常规的停止作业再启动作业
> -- 原始邮件 --
> 发件人:
> "user-zh"
>
> 发送时间: 2022年11月30日(星期三) 晚上8:08
> 收件人: "user-zh"
> 主题: Re: flink sql作业无缝升级问题
>
>
>
&g
之间可以做一些优化来缩短恢复时间。比如，把新作业先启动起来，申请好资源，同时停掉老作业，将做好的savepoint用来触发新作业的执行。
>
>casel.chen 于2022年11月29日周二 08:38写道：
>
>> 线上有一个流量较大的flink sql作业需要升级添加业务字段，当前主要是kafka (canal) 多表关联写入 mongodb
>> 数据同步场景，除了source offset外无其他状态，如何让用户对升级无感呢？
>> 常规的停止作业再启动作业至少要几十秒，会造成消息积压告警，有没有可能先启新作业待运行平稳后再停
One question as title: Whether Flink SQL window operations support
> "Allow Lateness and SideOutput"?
>
> Just as supported in Datastream api (allowedLateness
> and sideOutputLateData) like:
>
> SingleOutputStreamOperator<
Hi
自增id可以为同一个作业的多个codegen类生成唯一类名
一般metaspace可以通过fullgc释放，你可以查看你的集群metaspace大小，是否触发了了fullgc
Best,
Shammon FY
On Wednesday, March 29, 2023, tanjialiang wrote:
> Hi all,
>我有一个通过flink kubernetes operator定时提交到同一个session作业（底层是将flink
> sql转JobGraph的逻辑下推到了JobManager执行），当他跑了一段时间后，Job
代码在flink
1.10.1是可以正常运行的，升级到1.11.0时，提示streamTableEnv.sqlUpdate弃用，改成executeSql了，程序启动2秒后，报异常：
Exception in thread "main" java.lang.IllegalStateException: No operators
defined in streaming topology. Cannot generate StreamGraph.
at
org.apache.flink.table.planner.utils.ExecutorUtils.generateStreamGrap
如果不等待最新版本的话也可以这样
将 纯数组的数据作为字符串 从source消费，增加自定义的json解析函数，判断 isArray 之后 遍历进行 collect
if (Objects.nonNull(str)) {
if (isArray) {
JsonNode node = objectMapper.readTree(str);
if (node.isArray()) {
Iterator nodeIterator = n
补充：
最终查询为
SELECT
t.*
FROM
kafka_source,
LATERAL TABLE( fromJson(data) ) as t
--
Sent from: http://apache-flink.147419.n8.nabble.com/
blink planner支持将多sink的query优化成尽量复用重复计算部分。
1.11里用StatementSet来提交job，1.11之前用sqlUpdate/insertInto + execute提交任务
kandy.wang 于2020年8月4日周二 下午5:20写道：
> FLINK SQL view相关问题：
> create view order_source
>
> as
>
> select order_id, order_goods_id, user_id,...
>
> from (
>
>
尽量复用重复计算部分。
>1.11里用StatementSet来提交job，1.11之前用sqlUpdate/insertInto + execute提交任务
>
>kandy.wang 于2020年8月4日周二 下午5:20写道：
>
>> FLINK SQL view相关问题：
>> create view order_source
>>
>> as
>>
>> select order_id, order_goods_id, user_id,...
>>
>
Hello all . 想请教下。flink sql 想添加一个全局唯一的自增数据，有什么好的方法吗？
Hi,
我看你开了minibatch,你用了aggregate算子了吗？
> -原始邮件-
> 发件人: op <520075...@qq.com>
> 发送时间: 2020-08-10 10:50:08 (星期一)
> 收件人: user-zh
> 抄送:
> 主题: 回复： flink sql状态清理问题
>
> 配置了minIdleStateRetentionTime ，
> val tConfig = tableEnv.getConfig
> tConfig.setI
邮件 --
> 发件人:
> "user-zh"
> <
> ld...@zju.edu.cn>;
> 发送时间: 2020年8月10日(星期一) 下午2:13
> 收件人: "user-zh"
> 主题: Re: 回复： flink sql状态清理问题
>
>
>
> Hi,
> 我看你开了m
Hi,
现在group agg + mini batch 还没有支持状态过期清理，已经有工作[1] 在解决这个问题了。
[1] https://issues.apache.org/jira/browse/FLINK-17096
sunfulin 于2020年8月14日周五 下午2:06写道：
> hi，我的一个flink sql作业，在启用了idlestateretentiontime设置后，观察到web ui上的state
> size还是一直在增大，超过maximum retention time之后state大小也没有减小的情况，请问这个可能是啥原因哈？
>
hi, benchao,
感谢回复，那我是不是可以理解为：去掉minibatch，就可以状态过期清理了哈？
在 2020-08-14 14:09:33，"Benchao Li" 写道：
>Hi,
>现在group agg + mini batch 还没有支持状态过期清理，已经有工作[1] 在解决这个问题了。
>
>[1] https://issues.apache.org/jira/browse/FLINK-17096
>
>sunfulin 于2020年8月14日周五 下午2:06写道：
Hi，
请教一个通过sql-client提交flink sql遇到的关于嵌套view，当嵌套第二层时，查询时会报找不到字段的问题。
元数据已经建好，简述如下：
1.建嵌套的view：
create temporary view temp_app_impression_5min as
select
argService as arg_service,
timeLocal as time_local,
mid as mid,
vipruid as vipruid,
activity as activity,
LOWER(activityProperty
flink-orc模块版本应该只支持新版本，2.1.1支持不了，可以自己修改ORC源码
--
发件人：大罗
发送时间：2020年9月8日(星期二) 16:55
收件人：user-zh
主 题：Re: flink sql 1.11.1 could not insert hive orc record
Hi ,我例子中的hive orc表，不是事务表，如图：
createtab_stmt
CREATE TABLE `dest_orc`(
`i
# 主要原因为Orc在新版本后使用的WriterVersion为ORC_517
# 导致低版本的Hive解析不了
# 自实现OrcFile类,修改回旧版本
static {
CURRENT_WRITER = WriterVersion.HIVE_13083;
memoryManager = null;
}
--
发件人：大罗
发送时间：2020年9月8日(星期二) 16:55
收件人：user-zh
主 题：Re: flink sql
??kafka??flink
table??select??selectgroup
id??
'properties.group.id' = 'flink-sql',
'properties.bootstrap.servers' = 'xx.xx.xx.xxx:9092',
'topic' = 'ODS_PaymentOrdert',
'scan.startup.mode' = 'latest-offset&#
Hi, all
测试发现flink sql jdbc mysql 的table-name 不能通过正则来读取多个表，这些表按月份划分的。
后续会支持不？
Best Wishes.
(2));
在 2020-09-27 15:47:11，"xiao cai" 写道：
Hi:
目前想了解下载Flink SQL下该如何设置checkpoint的TTL。
非常感谢指教
Best,
xiao.
AS u left join kpi_stream AS k on u.memberId
= k.rowkey
mysql_users_latest_kpi 中就会存储最新的用户绩效，且不断在覆盖更新（一旦有新的绩效到达）。
Best,
Jark
On Wed, 28 Oct 2020 at 14:45, 夜思流年梦 wrote:
> 批处理的确是可以解决这类问题，只不过不是实时的了，主要是想使用flink-sql解决这类报表问题；
> 另外问一句， flink-sql 有打算解决这类问题吗？我感觉这个场景还挺多的呢
> 维表 left join 一张流表，
支持的，参考 code https://github.com/apache/flink/pull/12919/commits
陈帅 于2020年11月3日周二 上午8:44写道：
> flink sql 1.11.2 支持 confluent schema registry 下 avro格式的kafka connector吗？
> 官网没找到相关资料。有的话请告知或者提供一下示例，谢谢！
>
大佬们好,第一次使用flink读取hive报了一个很奇怪错：Caused by:
org.apache.flink.runtime.operators.util.CorruptConfigurationException: Could
not read the user code wrapper: invalid type code: 9C。一直不得其解，求赐教啊~
flink：1.11.2
hive: 2.2.0
hadoop:3.0.3
完成代码：
public class flink {
public static void main(String[] args) thr
是的。Flink 目前还不支持隐式类型转换。
Best,
Jark
On Tue, 10 Nov 2020 at 14:28, hailongwang <18868816...@163.com> wrote:
> Hi，
>
>
> 从你的报错来看，是 in 不支持隐式 CAST。
> 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
>
>
> Best,
> Hailong Wang
>
> 在 2020-11-10 10:41:47，"丁浩浩&quo
t; 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
>>
>>
>> Best,
>> Hailong Wang
>>
>> 在 2020-11-10 10:41:47，"丁浩浩" <18579099...@163.com> 写道：
>>> 我使用flink sql cdc取连接 mysql表的时候，当我的mysql表type这个字段类型是tinyint类型时 使用type
>> in（1,2,3,4,5）会报
g <18868816...@163.com> wrote:
> >
> >> Hi，
> >>
> >>
> >> 从你的报错来看，是 in 不支持隐式 CAST。
> >> 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
> >>
> >>
> >> Best,
> >> Hailong Wang
> >>
> >> 在 2020
就比如我要用flink cdc 接入mysql表，一般都是直接将mysql表的DDL稍加修改然后在flink sql中创建，一般都不会考虑到
类型转换的问题就直接沿用mysql中的类型，当然sql也是一样的。同样的sql在满足语法正确性的情况下，mysql中能跑，而flinksql中无法跑，
当然可以通过显示类型转化来完成，但是能提供自动转化会更好的提供易用性。
> 在 2020年11月10日，下午2:51，Danny Chan 写道：
>
> 暂时还没有 你们是什么场景需要用到隐式类型
>
> 丁浩浩 <18579099...@163.com&
好的 了解
丁浩浩 <18579099...@163.com> 于2020年11月10日周二 下午3:19写道：
> 就比如我要用flink cdc 接入mysql表，一般都是直接将mysql表的DDL稍加修改然后在flink sql中创建，一般都不会考虑到
> 类型转换的问题就直接沿用mysql中的类型，当然sql也是一样的。同样的sql在满足语法正确性的情况下，mysql中能跑，而flinksql中无法跑，
> 当然可以通过显示类型转化来完成，但是能提供自动转化会更好的提供易用性。
>
> > 在 2020年11月1
实现上应该没什么问题。
1. 你的cdc 数据中是不是没有包括全量数据，直接从某天的增量开始读的？
2. 是否开启 mini-batch了？
Best,
Jark
On Fri, 20 Nov 2020 at 11:44, kandy.wang wrote:
> hi Jark：
>
>
> 打了一下log 看了一下聚合相关的几个字段： v_spu_id 、leaving_num 、price
> 都没有出现NULL的情况，在sql-client里看了一下也没有出现NULL的情况
>
> 自定义的format逻辑和canal的类似，insert update delete ,upd
1.是的。 这个程序跑起来的时候，是无状态的，然后开始慢慢积累状态吧。
2. 没有开启
在 2020-11-20 11:49:44，"Jark Wu" 写道：
>实现上应该没什么问题。
>
>1. 你的cdc 数据中是不是没有包括全量数据，直接从某天的增量开始读的？
>2. 是否开启 mini-batch了？
>
>Best,
>Jark
>
>On Fri, 20 Nov 2020 at 11:44, kandy.wang wrote:
>
>> hi Jark：
>>
>>
>> 打了一下log 看了一下聚合相关的几个字段： v_spu_id 、leaving_num 、pr
1.是的。 这个程序跑起来的时候，是无状态的，然后开始慢慢积累状态吧。
2. 没有开启
在 2020-11-20 11:49:44，"Jark Wu" 写道：
>实现上应该没什么问题。
>
>1. 你的cdc 数据中是不是没有包括全量数据，直接从某天的增量开始读的？
>2. 是否开启 mini-batch了？
>
>Best,
>Jark
>
>On Fri, 20 Nov 2020 at 11:44, kandy.wang wrote:
>
>> hi Jark：
>>
>>
>> 打了一下log 看了一下聚合相关的几个字段： v_spu_id 、leaving
Hi：
请教一下，FlinkSQL中，我在创建表时设置了watermark并设置了最大延迟，可是还是有数据依旧会迟到晚到，对于这样的数据我们又不想直接丢弃，那这个依旧迟到的数据我该怎么收集？是否有与StreamAPI一样可以将依旧迟到的数据进行分流的方案？
祝好！
是不是没有加这一行代码，tableEnv.execute("test");
AlfredFeng wrote
> Hi All,
> 我在Idea里用flink-jdbc-connector连接mysql,
> 建完表后执行env.executeSql("select * from my_table").print()方法，只打印了表头，没有数据是什么原因？
> flink版本1.11.2
--
Sent from: http://apache-flink.147419.n8.nabble.com/
Hi
调用了executeSql，作业就已经执行了，不用再调用下面的这个执行方法，看你已经配置了cp，确认下mysql的参数是否正确。
> 在 2020年11月25日，18:42，冯草纸 写道：
>
> env.execute("sql test");
> // bsTableEnv.execute("sql test");
调用executeSql，应该输出到另一张表里，比如printTable才能打印。
要不就是bsTableEnv.sqlQuery("select * from meson_budget_data").print()打印出来;
On Thu, Nov 26, 2020 at 9:54 AM Leonard Xu wrote:
> Hi
>
> 调用了executeSql，作业就已经执行了，不用再调用下面的这个执行方法，看你已经配置了cp，确认下mysql的参数是否正确。
>
> > 在 2020年11月25日，18:42，冯草纸 写道：
> >
> > env.execute("sq
上面写错了，table要转成stream再打印
On Thu, Nov 26, 2020 at 11:46 AM Kyle Zhang wrote:
> 调用executeSql，应该输出到另一张表里，比如printTable才能打印。
> 要不就是bsTableEnv.sqlQuery("select * from meson_budget_data").print()打印出来;
>
> On Thu, Nov 26, 2020 at 9:54 AM Leonard Xu wrote:
>
>> Hi
>>
>> 调用了executeSql，作业就已经执行了，不用再调用下面的这个执
Hi All,
kafka消息里有一个随时间递增的“成交额”字段，写了一个UDAF统计累加当前成交额与上一条数据的成交额的差值，发现差值有出现负数的情况
用工具看topic里的消息是有序的，分区数为1。flink版本1.11.2
--
Sent from: http://apache-flink.147419.n8.nabble.com/
，
FlinkLogicalCalcRemoveRule.INSTANCE
2. projection push into tablesource 可查看：PushProjectIntoTableSourceScanRule
Best，
Hailong
在 2020-12-15 20:57:32，"SmileSmile" 写道：
>hi，社区的各位，是否有了解flink sql的列裁剪的实现原理？
>
>通过calcite的rbo可以实现sql优化，calcite的coreRules好像没有实现列裁剪。看一些文章有提到flink有实现projection
>pushdow
Dear All，
Flink SQL> insert into table1 select filed1,filed2,.filed10 from table2;
在flink sql
中执行类似上面的语句，在webui中看到很快就finished了，但数据并没有写进table1表中，查看log，也看不到什么报错。迷惑
还有，在使用select count(*) 查询表数据时，有的表能查到结果，有的就不显示结果，也没有报错。实在不知道什么原因了。。。
-
Thanks!
Jacob
--
Sent from: http://apache-fl
plication application_1609403978979_0043 failed 2
times in previous 1 milliseconds due to AM Container for
appattempt_1609403978979_0043_02 exited with exitCode: -1000
Failing this attempt.Diagnostics: [2021-01-02 14:55:14.203]File
file:/home/xjia/.flink/application_1609403978979_0043/lib
大佬们好，现在业务需求多，生产作业开始变得繁重，请教3个生产业务场景，主要是想看下各位有什么优雅的思路
1.kakfa table和group_ID应该怎么去维护呢？一个业务一张表吗？
2.如何做到复用表的效果？
3.如果新增一个业务需求，用到之前的一张kafka table，似乎要在一个程序里。执行多次 executeSql("sql
1")才不会乱序，但是这样的话，程序的耦合度会很高，请问该怎么优雅的处理这些场景呢？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
-??crontabflink-jobazkaban??
-- --
??: "zhisheng"https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/resource-providers/yarn.html
> <
>
https://ci.apache.org/projects/flink/flink-doc
$HADOOP_CLASSPATH??/home/xjia/opt/module/hadoop3.2.1/lib/native??
-- --
??: "zhisheng"https://ci.apache.org/projects/flink/flink-docs-release-1.12/deployment/resource-providers/yarn.html
> <
>
https://ci.apache.org/pr
/etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export
ZOOKEEPER_HOME=/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/zookeeper
export
HADOOP_HOME=/o
thank you
-- --
??:
"user-zh"
https://ci.apache
Hi,
这个异常信息可以提升的准确说是需要主键和even-time 时间属性，你的自定义维表是同时支持lookup和scan的吗？
这个异常信息可以提升的，如果确定问题的话可以再社区建个JIRA提升下的。
祝好
Leonard Xu
> 在 2021年1月9日，09:39，张韩 写道：
>
> 版本：1.12
> 问题：维表关联若是支持事件时间，维表需要有主键和时间属性，在满足这两个条件前提下，自定义维表若是实现LookupTableSource接口则优化会报异常：
> Caused by: org.apache.calcite.plan.RelOptPlanner$CannotPl
Hi，感谢回复
自定义的维表仅仅是支持lookup，是在DDL中定义了维表主键和时间属性
在 2021-01-11 10:02:43，"Leonard Xu" 写道：
>Hi,
>这个异常信息可以提升的准确说是需要主键和even-time 时间属性，你的自定义维表是同时支持lookup和scan的吗？
>这个异常信息可以提升的，如果确定问题的话可以再社区建个JIRA提升下的。
>
>祝好
>Leonard Xu
>
>> 在 2021年1月9日，09:39，张韩 写道：
>>
>> 版本：1.12
>> 问题：维表关联若是支持事件时间，维表需要有主键和时间属性，在满足这两个条件前提下
hi，感谢回复
自定义的维表支持lookup，在DDL中维表定义主键和时间属性
在 2021-01-11 10:02:43，"Leonard Xu" 写道：
>Hi,
>这个异常信息可以提升的准确说是需要主键和even-time 时间属性，你的自定义维表是同时支持lookup和scan的吗？
>这个异常信息可以提升的，如果确定问题的话可以再社区建个JIRA提升下的。
>
>祝好
>Leonard Xu
>
>> 在 2021年1月9日，09:39，张韩 写道：
>>
>> 版本：1.12
>> 问题：维表关联若是支持事件时间，维表需要有主键和时间属性，在满足这两个条件前提下，自定
你意思是说，topic不是flink写入的，用flink sql就不能读到key？
在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道：
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
在2021年01月14日 16:03，酷酷的浑蛋 写道：
你意思是说，topic不是flink写入的，用flink sql就不能读到key？
在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道：
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
官网没说在哪里读key啊
在2021年01月14日 14:52，Jark Wu 写道：
kafka 读 key fields：
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/connectors/kafka.html#key-fields
On Wed, 13 Jan 2021 at 15:18, JasonLee <17610775...@163.com> wrote:
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-
Best Wishes
Jaso
':
No such file or directory//出错信息
yinghua...@163.com
发件人： 郝文强
发送时间： 2021-01-14 17:24
收件人： user-zh
主题： 转发：flink-sql字段类型问题
| |
郝文强
|
|
18846086...@163.com
|
签名由网易邮箱大师定制
- 转发邮件信息 -
发件人： 郝文强 <18846086...@163.com>
发送日期： 2021年01月14日 17:23
发送至： d...@flink.ap
直接读topic，headers是空，我仅仅是想读key，不管topic是谁写入的
在2021年01月14日 16:03，酷酷的浑蛋 写道：
你意思是说，topic不是flink写入的，用flink sql就不能读到key？
在2021年01月13日 15:18，JasonLee<17610775...@163.com> 写道：
hi
你写入数据的时候设置 headers 了吗 没设置的话当然是空的了
-
Best Wishes
JasonLee
--
Sent from: http://apache-flink.147419.n8.nabble.com/
谢谢啦
在 2019-10-09 11:19:17，"pengchengl...@163.com" 写道：
>你好，可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html
>
>
>
>pengchengl...@163.com
>
>发件人： Henry
>发送时间： 2019-10-09 10:44
>收件人： user-zh
>主题： Re:Re: Fli
各位老板好:
"selectrider_id, waybill_status as waybill_status ,count(id) as
waybill_status_count, TUMBLE_START(ctime, INTERVAL '1' DAY) as wStart from
(select id, min(ctime) as rowtime ,latest(status, utime) as waybill_status,
latest(rider_id, utime) as rider_id from user group by id) gro
三 上午8:26写道：
>
> flink sql是否能够支持将confluent schema registry注册的一个avro数据格式 的topic注册成一张table?
ies(props)
> ).withFormat(
> new Avro()
> .useRegistry(true)
> .registryUrl(KAFKA_SCHEMA_REGISTRY_URL_ADDRESS)
> .registrySubject(subject)
> .avroSchema(avroSchemaStr)
> )
>
>
> 陈帅 于2019年12月18日周三 上午8:26写道：
> >
> > flink sql是否能够支持将confluent schema registry注册的一个avro数据格式 的topic注册成一张table?
>
Hi 陈帅,
这是一个非常合理的需求。我们需要开发一个 Flink ConfluentSchemaRegistryCatalog
完成元数据的获取。社区希望的用户体验是用户只需要给出confluent schema registry的链接，Flink SQL可以通过
ConfluentSchemaRegistryCatalog自动获取读写所需的信息，不再需要用户手动写DDL和format。
社区内部已经开始讨论了，我们应该会在1.11中完成，请关注
https://issues.apache.org/jira/browse/FLINK-12256
On Wed, Dec 18
Hi LakeShen,
Maybe "Idle State Retention Time"[1] may help in your case.
[1]
https://ci.apache.org/projects/flink/flink-docs-master/dev/table/streaming/query_configuration.html#idle-state-retention-time
LakeShen 于2020年1月16日周四 上午10:15写道：
> Hi community，now I am use flink sql inn
Hi community， now I am using Flink sql , and I set the retention time, As I
all know is that Flink will set the timer for per key to clear their state,
if Flink task always checkpoint failure, are the key state cleared by
timer?
Thanks to your replay.
Flink Sql中Kafka-Source只看到了关于Value的Deserialize，要怎么获取对应的Key及meta(offset, topic,
partition)信息呢？
Hi, all
We have listened some user's compliant voice about Flink SQL usability from
online and offline, especially about using Flink SQL to build ETL job, but it's
not detailed.
So, I'd like to start a discussion about Flink SQL usability, hope we can have
more input from
Hi，
能贴一下你的完整 SQL 吗？
On Wed, 26 Feb 2020 at 18:21, 小旋锋 wrote:
> 大家好:
> 我在flink官方文档上看到内置聚合函数count的函数头是这样的
> count([all] Expression | distinct Expression1
> [, Expression2])
> 所以它应该可以对多个属性进行distinct去重，而且我在源码的单元测试里也看到有几个用例
> select count(distinct a, b) from mytable，并且是可以运行通过
hi, 你看到的 select count(distinct a, b) from mytable 单元测试能通过，应该是只测试 logical
plan，当前在生成 physical plan的时候，显示的禁用了多个字段
Bests,
Godfrey
apache22 于2020年2月26日周三 下午6:56写道：
> 我的经验：
> count(distinct 只支持单字段) , distinct a,b 是可以的
> 有一个解决方式：count(distinct concat(a,b))
>
>
> | |
> apache22
> |
> |
> apach...
各位好，
最近公司想用flink来做流式计算，在研究Flink SQL读写HBase的时候遇到一些问题，希望能从您们那里得到帮忙。
我在Hbase的默认命名空间里，创建了一个resume表，表结构如下：
我的Flink测试代码如下：
@Test
public void testReadFromHBase() throws Exception {
StreamExecutionEnvironment
env=StreamExecutionEnvironment.getExecutionEnvironment
同问，等待大佬回答
> 2020年5月1日 下午5:26，hb <343122...@163.com> 写道：
>
>
>
> ``` 代码
> val env = StreamExecutionEnvironment.getExecutionEnvironment
> val settings: EnvironmentSettings =
> EnvironmentSettings.newInstance().useBlinkPlanner().inStreamingMode().build()
> val tEnv: StreamTableEnvironment = St
Hi,
这可能是个Bug。
Blink中默认使用timestamp WITHOUT time zone，所以它是无时区的。
而proctime目前还是带时区的产生了时间，我理解可能是应该产生无时区的时间。
CC: @Jark Wu @Zhenghua Gao
Best,
Jingsong Lee
On Tue, May 5, 2020 at 5:43 PM 祝尚 <17626017...@163.com> wrote:
> 同问，等待大佬回答
>
> > 2020年5月1日 下午5:26，hb <343122...@163.com> 写道：
> >
> >
> >
> > `
801 - 900 of 1978 matches
Mail list logo
