退订
| |
于林之下
|
|
邮箱：sishengqikuo...@163.com
|
签名由 网易邮箱大师 定制
这边是想离线读取。不是走实时的
看到异常是 Only insert statement is supported now
在 2021-03-30 10:31:51，"guoyb" <861277...@qq.com> 写道：
>可以读取的，还有内置flink cdc
>select得用query方法，看看是不是用错了execute。
>
>
>
>---原始邮件---
>发件人: "air23"发送时间: 2021年3月30日(周二) 上午10:25
>收件人: "user-zh"主题: flink 从mysql读取数据异常
>
>
>你好 参考官网
退订
这样的报错多半是Flink的JM/TM进程就没有被Yarn正常拉起，你查看Yarn的NodeManager日志
搜索对应的container，应该会有一些线索的
Best,
Yang
flink2021 于2021年3月30日周二 上午9:40写道：
> 实时作业运行一段时间后报错：
> Container exited with a non-zero exit code 2. Error file: prelaunch.err.
> Last 4096 bytes of prelaunch.err
> 具体原因是什么呢？有哪位大佬帮忙看看呢，日志中只有这条错误提示，其它没有。
>
我可以确认1.12.1和1.12.2已经修复，如果还是不能正常使用，麻烦发一下启动命令以及对应的TM报错日志
Best,
Yang
1120344670 <1120344...@qq.com> 于2021年3月29日周一 下午5:09写道：
> 您好:
>之前提交过一个关于这方面的issue，链接如下:
> http://apache-flink.147419.n8.nabble.com/flink1-12-k8s-session-TM-td10153.html
>目前看还是没有fix对应的issue。
>
>报错如下:
>
>
>
1??yarn-session??
2??yarn-perjob?? --
??
Caused by: java.util.concurrent.TimeoutException: Heartbeat of TaskManager with
id container_e66_1616483562588_2358_01_02() timed out.
at
Hi Feifan,
主要原因是为了支持TTL state的compaction filter
[1]，因为属于定制化内容，RocksDB社区无法纳入主分支，我们后续也在考虑采用插件化形式，复用RocksDB社区的原生RocksJava。当然，现在还有个棘手的问题是RocksJava在5.18
之后存在性能回退，导致目前无法直接升级。你可以关注 FLINK-14482 跟踪后续的发展
[1]
https://github.com/ververica/frocksdb/commit/01dca02244522e405c9258000903fee81496f72c
[2]
TD
| |
于林之下
|
|
邮箱：sishengqikuo...@163.com
|
签名由 网易邮箱大师 定制
你好 参考官网
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html
这边读取mysql jdbc数据报错Exception in thread "main"
org.apache.flink.table.api.TableException: Only insert statement is supported
now.
String a = "-- register a MySQL table 'users' in Flink SQL\n"
可以读取的，还有内置flink cdc
select得用query方法，看看是不是用错了execute。
---原始邮件---
发件人: "air23"https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html
这边读取mysql jdbc数据报错Exception in thread "main"
org.apache.flink.table.api.TableException: Only insert statement is supported
你好 参考官网
https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html
这边读取mysql jdbc数据报错Exception in thread "main"
org.apache.flink.table.api.TableException: Only insert statement is supported
now.
String a = "-- register a MySQL table 'users' in Flink SQL\n"
你的图看不到，我猜到的是你window之后是一个算子链，最后是sink了，所以bytes
sent是0，sink后应该就不属于flink的管辖范围了，所以sent是0。你可以设置disableOperatorChaining（）一下，然后你在window完后，再map算子一下，就能看到window后面有没有sent了。
| |
allanqinjy
|
|
allanqi...@163.com
|
签名由网易邮箱大师定制
在2021年03月30日 09:37，王 浩成 写道：
实时作业运行一段时间后报错：
Container exited with a non-zero exit code 2. Error file: prelaunch.err.
Last 4096 bytes of prelaunch.err
具体原因是什么呢？有哪位大佬帮忙看看呢，日志中只有这条错误提示，其它没有。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
你好，我有下图这样的一个数据流图，以csv文件作为数据源生成数据流，数据流的时间跨度约15分钟，时间窗口设定为1分钟。
使用单节点提交Flink Job之后，在Web UI界面发现从Window算子开始，后面的Bytes
Sent全部为0B了，可是实际上window算子及其后面的算子都进行了相应的操作，并且生成了对应的数据结果。
请问这里是为什么出现了这个问题，如何让它能像我想象的显示发送的数据量？谢谢！
[表格 描述已自动生成]
各位好，
我的Flink任务中有写Kafka的操作，最近发现当写的这个Kafka整体QPS很高时，响应时间也会很长。我的核心逻辑是继承了RichFlatMapFunction，在flatMap方法中调用KafkaProducer.produce()，在方法最后调用KafkaProducer.flush()。
我知道调用KafkaProducer.flush()可能会很耗时，但我的业务不允许数据丢失，我考虑把KafkaProducer.flush()放在RichFlatMapFunction的close()方法中。不知道这个close()方法是什么时候调用的。
我的问题是：
this is the error message:
Flink SQL> (SELECT number_feature FROM map_string_string1) UNION (SELECT
number_feature FROM map_string_string2);
2021-03-29 16:57:15,479 INFO
org.apache.hadoop.hive.metastore.HiveMetaStoreClient [] - Trying to
connect to metastore with URI
this is the contents of this image:
Flink SQL> (SELECT number_feature FROM map_string_string1) UNION (SELECT
number_feature FROM map_string_string2);
2021-03-29 16:57:15,479 INFO
org.apache.hadoop.hive.metastore.HiveMetaStoreClient [] - Trying to
connect to metastore with URI
this is the image:
At 2021-03-29 17:42:05, "张颖" wrote:
hello, I meet a problem just like this: My flink version is 1.12.0，and I change
the version to 1.12.3, the problem still exist.
I create two tables which have data type map, I want to union two tables to
one, but when i
At 2021-03-29 17:42:05, "张颖" wrote:
hello, I meet a problem just like this: My flink version is 1.12.0，and I change
the version to 1.12.3, the problem still exist.
I create two tables which have data type map, I want to union two tables to
one, but when i run on sql-client, I
什么意思？直接退订吗？
在 2021-03-29 17:44:22，"纪军伟" 写道：
>退订
什么意思？直接退订吗？
在 2021-03-29 17:44:22，"纪军伟" 写道：
>退订
----
??: "??"
退订
Hi,有看过HDFS上真实的CK文件大小么,可以参考下这个邮件
http://apache-flink.147419.n8.nabble.com/Flink-sql-checkpoint-td10176.html#a10200
--
发件人：liangji
发送时间：2021年3月26日(星期五) 16:39
收件人：user-zh
主 题：flink 1.11 cp size越来越大
读取kafka数据写入mysql
1、部分代码如下
:
??issue??:http://apache-flink.147419.n8.nabble.com/flink1-12-k8s-session-TM-td10153.html
??fix??issue??
:
??jiraissue
Hi，我使用的1.12也出现了这个问题，请问你怎么解决的呢？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
|
Best,
Jimmy
|
Signature is customized by Netease Mail Master
- 转发的邮件 -
发件人： Jimmy Zhang
发送日期： 2021年03月29日 14:05
收件人： Qishang
抄送人：
主题： 回复：在FlinkKafkaProducer获取sink表的建表key
Hi,Qiishang，非常感谢你的回复，我看了你说的代码，应该是可以解决我的需求，不过我还没有细看，因为本身这个需求可能涉及Dynamic这块不多。
另外，我已经通过这种方法成功解决该问题。
29 matches
Mail list logo
