3这个时候就不对了,在flink里面有修改两次的缓存数据,所以删除的同时将原来的旧数据插入进了mysql中(操作错误).
上述是我基于flink1.16.1版本进行测试的结果,目前不知道是不是要配置flink还是下游算子具体配置什么也不是清楚。这个问题困扰有3周了,各种测试调整都没有起作用。
在 2023-03-06 10:54:23,"陈佳豪" 写道:
>hi 早上好
>我将flink升级到了1.16.1的版本去执行kafka同步到mysql的任务,发现还是存在一样的问题,我本机执行了explain的执行过程给的输出如下
>
>=
1.15.2 上使用 EXPLAIN CHANGELOG_MODE INSERT INTO...[1] 将 plan
>打印出来看看.
>
>[1]
>https://nightlies.apache.org/flink/flink-docs-release-1.15/docs/dev/table/sql/explain/
>
>祝好!
>Jane
>
>On Sun, Mar 5, 2023 at 2:36 PM 陈佳豪 wrote:
>
>> hi 你好
>> 目前没有1.16.2版本的吧? 我看flink官网都是1.16.
release-1.15/docs/dev/table/sql/explain/
>
>Best,
>Jane
>
>On Wed, Mar 1, 2023 at 6:22 PM 陈佳豪 wrote:
>
>> flink ,kafka连接 jdbc连接版本都是1.15.2的
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>>
>
flink ,kafka连接 jdbc连接版本都是1.15.2的
在 2023-03-01 18:14:35,"陈佳豪" 写道:
>问题如标题所示,就是删除操作的时候mysql的表数据不对,每次都会新增当前主键的旧数据。
>String kafka = "CREATE TABLE `电话` (`rowid`
>VARCHAR(2147483647),`63fd65fb36521f81a2cfab90`
>VARCHAR(2147483647),`63fd660536521f
问题如标题所示,就是删除操作的时候mysql的表数据不对,每次都会新增当前主键的旧数据。
String kafka = "CREATE TABLE `电话` (`rowid`
VARCHAR(2147483647),`63fd65fb36521f81a2cfab90`
VARCHAR(2147483647),`63fd660536521f81a2cfabad`
VARCHAR(65535),`63fd660536521f81a2cfabae` VARCHAR(65535) ) WITH ( 'connector'
= 'kafka', 'topic' =
'sz_work
-建表语法如下
String kafka = "CREATE TABLE `电话` " +
"(`rowID` VARCHAR(255),`名称` STRING,`手机` VARCHAR(255),`座机` VARCHAR(255), " +
" PRIMARY KEY (`rowID`) NOT ENFORCED ) " +
" WITH " +
"('connector' = 'jdbc', " +
" 'driver' = 'com.mysql.cj.jdbc.Driver', " +
" 'url' = 'jdbc:mysql://XX:
hi
我目前测试flink restapi
指定savepointpath来恢复任务发现会重新触发创建一个新的任务原有的任务还是cancel状态,请问有办法恢复原有cancel状态的任务为running吗?
hi
请问能在java代码里面try catch到基于flink sql写的任务异常信息吗?
hi
不好意思刚刚图好像又挂了
不知道这个能否查看。
在 2022-11-28 13:50:37,"m17610775726_1" 写道:
hi
你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了
回复的原邮件 ----
| 发件人 | 陈佳豪 |
| 发送日期 | 2022年11月28日 00:54 |
| 收件人 | user-zh |
| 主题 | 请问flink metrics如何获取任务状态? |
自定义了一个kafka Metric Rep
这个metrics 我获取不到。 不知道要怎么配置才可以获取到。
在 2022-11-28 13:50:37,"m17610775726_1" 写道:
hi
你的图片挂了 可以用图床上传一下图片 在这里贴个链接 另外自定义 reportor 把需要的metric 过滤出来上报就行了
回复的原邮件 ----
| 发件人 | 陈佳豪 |
| 发送日期 | 2022年11月28日 00:54 |
| 收件人 | user-zh |
| 主题 | 请问flink metrics如何获取任务状态? |
自定义了一个kafka Metric
有大佬告诉下吗? 这个指标的值获取不到。
| |
陈佳豪
邮箱:jagec...@yeah.net
|
回复的原邮件
| 发件人 | 陈佳豪 |
| 发送日期 | 2022年11月28日 00:54 |
| 收件人 | user-zh |
| 主题 | 请问flink metrics如何获取任务状态? |
自定义了一个kafka Metric Reporters #请问如何使用上述指标呢?
我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以,当前flink 版本是15.2 还望大神指教一番。
自定义了一个kafka Metric Reporters #请问如何使用上述指标呢?
我想通过上报获取任务状态。除了上述指标外如果有其他方案也可以,当前flink 版本是15.2 还望大神指教一番。
12 matches
Mail list logo