tion, WindowFunction
windowFunction)
是传入一个聚合函数和一个窗口函数，这种怎么实现灵活的组合；或者flinksql是怎么样实现的，想了解这一块的代码？但是不知道从哪里入手。希望有朋友可以指定下。
谢谢！
hdxg1101300...@163.com
知道原因了
hdxg1101300...@163.com
发件人： hdxg1101300...@163.com
发送时间： 2021-03-20 22:07
收件人： user-zh
主题： flink 1.11.2 使用rocksdb时出现org.apache.flink.util.SerializedThrowable错误
你好：
最近升级flink版本从flink 1.10.2 升级到flink.1.11.2；主要是考虑日志太大查看不方便的原因；
代码没有变动只是从1.10.2.编译为1.11.2 ，集群客户端版本升级到1.11.2；任务提交到yarn 使
:1.11.2]
at
org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.snapshotState(StreamOperatorStateHandler.java:186)
~[flink-dist_2.11-1.11.2.jar:1.11.2]
hdxg1101300...@163.com
va:511)
at
org.apache.flink.streaming.api.graph.StreamConfig.getStreamOperatorFactory(StreamConfig.java:260)
hdxg1101300...@163.com
你好：
你可以在idea中mvn package 或者mvn install 相应的模块
hdxg1101300...@163.com
发件人： penguin.
发送时间： 2021-01-12 21:44
收件人： user-zh@flink.apache.org
主题： flink 编译
Hi，
请问有人知道怎么单独编译flink-runtime模块吗？
然后这样是否能把更改的部分直接在flink-dist包中的org.apache.flink.runtime目录下进行替换？
整体编译一次实在太慢了。
谢谢！
penguin
我是这样想的，因为最后的两条流关联是 两条结果流的关联，两条结果流
都属于回撤流，任何一边变化都是2条消息；对于左侧第一条就是回撤，第二条就是变化后的；但是右边发生变化 则会有两条数据，false消息 和左边关联
认为变化整个流表示变化回撤再显示关联后的数据；true数据来了再次关联 认为整个流变化；撤回再关联发出；
我的想法是可不可以 之和右边流为true的数据关联；
hdxg1101300...@163.com
发件人： hdxg1101300123
发送时间： 2020-12-15 23:44
收件人： user-zh
主题： 转发: 两条流去重后再关联出现不符合预期数
eft JOIN " +
" (select sheetId,provided,satisfied,score,operateTime from (SELECT *,"
+
" ROW_NUMBER() OVER (PARTITION BY sheetId ORDER BY operateTime
desc) AS rownum " +
" FROM sheetAnswers)" +
" WHERE rownum = 1 ) c" +
" ON a.sheetId = c.sheetId " ;
hdxg1101300...@163.com
hdxg1101300...@163.com
发件人： hdxg1101300...@163.com
发送时间： 2020-12-07 18:40
收件人： user-zh
主题： 回复: Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次，还是需要实现2p2提交
你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback，是可以做到端对端精确一次的；我个人认为这样可以
想和别人交流一下。奈何没有人，就想在社区里问问
hdxg1101300...@163.com
发件人： Leonard Xu
发送时间： 2020-12-07
你的意思是 自己实现sink 提交的过程中抛出所有异常并且rollback，是可以做到端对端精确一次的；我个人认为这样可以
想和别人交流一下。奈何没有人，就想在社区里问问
hdxg1101300...@163.com
发件人： Leonard Xu
发送时间： 2020-12-07 17:00
收件人： user-zh
主题： Re: flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次，还是需要实现2p2提交
Hi,
> 在 2020年12月7日，16:46，hdxg1101300...@163.com 写道：
>
>fl
大家好：
flink 使用关系型数据库的默认事务是否可以做到端对端的精确一次，还是需要实现2p2提交；
自己实现sink开启数据库事务，遇到错误回滚并抛出异常，是否可以实现数据精确一次
谢谢！
hdxg1101300...@163.com
这个utc时间怎么设置，不能查看到hive数据的根本原因是 分区信息没有更新到metastore ;
你会发现文件生成了但是没有 _SUCCESS文件；
但是这样指定也不行？？
tEnv.getConfig().setLocalTimeZone(ZoneOffset.ofHours(8));
它的增删改只是在hive中对数据做了标记；后面可以通过join来处理数据
hdxg1101300...@163.com
发件人： chengyanan1...@foxmail.com
发送时间： 2020-11-02 13:37
收件人： user-zh
主题： Re: Re: flink
[UserInfo] {
override def extractTimestamp(element: UserInfo, recordTimestamp:
Long): Long = element.getTs.getTime
}))
生成的userinfo类型的ts是时间戳，所以watermark 使用的是他提取的
hdxg1101300...@163.com
发件人： Jingsong Li
发送时间： 2020-10-28 16:29
收件人： user-zh
主题： Re: flink hive Streaming查询不到数据的问题
Hi，
你的
rId(String userId) {
this.userId = userId;
}
public Double getAmount() {
return amount;
}
public void setAmount(Double amount) {
this.amount = amount;
}
public Timestamp getTs() {
return ts;
}
public void setTs(Timestamp ts) {
this.ts = ts;
}
}
hive (yutest)>
>
> show partitions fs_table;
OK
partition
Time taken: 20.214 seconds
hdxg1101300...@163.com
我参考你的代码，也遇到了同样的问题，有什么好的方法吗？
hdxg1101300...@163.com
发件人： 卢伟楠
发送时间： 2020-01-03 15:18
收件人： user-zh
主题： Re: Flink实现Kafka到Mysql的 End-To-End Exactly-Once中遇到的问题
我发这个用于测试的代码，里面的mysql-connector-java已经是最新的了，由于使用mysql-connector-java老版本趟过的坑已经处理过一遍了
> 在 2020年1月3日，下午3:13，残翅2008 <770968...@qq.c
es.get(index), number));
number += 1;
Thread.sleep(1000);
}
}
@Override
public void cancel() {
isRunning = false;
}
}
hdxg1101300...@163.com
Yichao Yang
?? 2020-07-09 13:11
user-zh
?
}
@Override
public void close() throws Exception {
super.close();
assert insertStatement != null;
assert connection != null;
insertStatement.close();
connection.close();
}
}
执行的时候程序会卡在 Class.forName("org.apache.hive.jdbc.HiveDriver"); 或者
Cla
您好：
我使用flink1.10.1版本streamapi编写程序时，在不同的richfunction中
分别使用Class.forName("*"); 来加载数据库驱动。是不同的两个数据库驱动；这样会导致程序卡住不往下执行；有人遇到吗？
hdxg1101300...@163.com
您好：
想咨询一下关于state的ttl问题;
想问一下 state设置的ttl,如果从checkpoints重启 ttl会不会失效；ttl针对的是process time，
比如我设置的7天过期,重新从checkpoints启动是第一次启动的时间算还是恢复时的新processtime算；他是state的一部分 还是怎么算；
或者要注册定时器来实现
hdxg1101300...@163.com
目前使用guava的cache做了缓存但是效果不是很好
hdxg1101300...@163.com
发件人： Benchao Li
发送时间： 2020-06-16 17:40
收件人： user-zh
主题： Re: 异步io请求hbase,hbase获取数据环节背压高成为瓶颈问题
感觉像这种IO Bound的场景，一种是可以尝试攒个小batch去请求；一种是加一个cache来降低请求的数量。
要不然就是优化提升外部系统的吞吐。
hdxg1101300...@163.com 于2020年6月16日周二 下午5:35写道：
> 您好：
> 采用异步
您好：
如果我的数据本身比较分散，重复的ID很少，还有必要进行keyby操作吗
谢谢！
hdxg1101300...@163.com
您好：
采用异步io的方式从hbase获取信息，发现hbase上游背压很高。有没有什么建议或者好的方式！谢谢！
flink1.10.0
hdxg1101300...@163.com
tatement.close();
connection.close();
}
hdxg1101300...@163.com
发件人： godfrey he
发送时间： 2020-06-03 21:59
收件人： user-zh; greemqqran; 15701181132mr.liu; hdxg1101300123
主题： Re: 回复： flink数据sink到mysql 是事务处理
hi greemqq...@163.com，15701181132mr....@gmail.com
能详细介绍一下 幂等 处理的场景吗？ 例如通过upsert语句能做到
我设置的是true 啊
env.setStateBackend(
new RocksDBStateBackend("hdfs://beh/user/dc_cbss/flink5/checkpoints" , true)
.getCheckpointBackend()
);
hdxg1101300...@163.com
发件人： Congxian Qiu
发送时间： 2020-05-21 15:58
收件人： user-zh
主题： Re: 使用rocksdb backend 内存溢出的问题疑问
Hi
从错误栈看，使用的是 HeapStateBack
这是内存分析的截图
https://blog.csdn.net/xiaosannimei/article/details/106259140
hdxg1101300...@163.com
发件人： hdxg1101300...@163.com
发送时间： 2020-05-21 15:10
收件人： user-zh
主题： 使用rocksdb backend 内存溢出的问题疑问
你好我自使用flink 1.10版本的flinkSQL 做UNbound流多表join时 遇到了内存溢出的问题？有几个疑问想咨询下;
1,关于使用rocksdb 我的设置是在代码中指定如下
；就是gc时间太频繁；想知道实际生产大家是怎么做的；我给的内存远超1g
每个taskmanager内存8G，
jobmanager.heap.size: 2048m
taskmanager.memory.process.size: 8192m
taskmanager.memory.managed.size: 2048m
希望给与帮助，
hdxg1101300...@163.com
25 matches
Mail list logo
