Flink SQL 是结构化的 query 语言，目前做不到 schema 自动变更。
所以如果你的 mysql 源的 schema 变更了，那么需要重新定义 Flink DDL，然后重启 Flink SQL 的作业。
On Tue, 10 Nov 2020 at 15:37, 丁浩浩 <18579099...@163.com> wrote:
> 当mysql表字段修改之后，再用flink cdc接入，当使用到这个表的时候会提示字段不存在。
> Exception in thread "main"
创建 view ?
amen...@163.com 于2020年11月10日周二 下午3:28写道：
> hi everyone,
>
> Flink SQL有没有上一个SQL的输出是下一个SQL的输入的业务场景思路？
> 比如说KafkaSource -> SQL_1 -> SQL_2 -> MysqlSink，一整个链起来，作为一个任务提交运行~
>
> best,
> amenhub
>
好的 了解
丁浩浩 <18579099...@163.com> 于2020年11月10日周二 下午3:19写道：
> 就比如我要用flink cdc 接入mysql表，一般都是直接将mysql表的DDL稍加修改然后在flink sql中创建，一般都不会考虑到
> 类型转换的问题就直接沿用mysql中的类型，当然sql也是一样的。同样的sql在满足语法正确性的情况下，mysql中能跑，而flinksql中无法跑，
> 当然可以通过显示类型转化来完成，但是能提供自动转化会更好的提供易用性。
>
> > 在 2020年11月10日，下午2:51，Danny Chan 写道：
> >
> >
JM logs里面有
Loading configuration property: yarn.containers.cores,4
zjfpla...@hotmail.com
发件人： zjfpla...@hotmail.com
发送时间： 2020-11-10 15:33
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4
zjfpla...@hotmail.com
发件人： Yangze Guo
发送时间： 2020-11-09
通过 Table 操作流程的 DAG 现在不再会缓存到底层的 exec env 中，为了避免 transformations
污染，所以是拿不到的，但是内部代码我们仍然是先拼接 StreamGraph 然后直接通过 exec env 提交。
izual 于2020年10月30日周五 下午5:04写道：
> hi，Community：
>
>
> 我们目前使用的是 flink 1.9.1 执行 SQL 任务，主要使用了以下几种接口：
> 1. sqlQuery sqlUpdate: 执行表的创建、查找和写入
> 2.
当mysql表字段修改之后，再用flink cdc接入，当使用到这个表的时候会提示字段不存在。
Exception in thread "main" org.apache.flink.table.api.ValidationException: SQL
validation failed. From line 53, column 15 to line 53, column 20: Column
'rounds' not found in table 'prcrs'
at
当设为5的时候 tm cpu cores为4，当设为4的时候，tm cpu cores还是为4
zjfpla...@hotmail.com
发件人： Yangze Guo
发送时间： 2020-11-09 10:19
收件人： user-zh
主题： Re: Re: flink tm cpu cores设置
如何确认没有用的呢？能分享一下jm日志么？
另外这个参数实际是否生效也取决于yarn的调度器是否开启了cpu调度
Best,
Yangze Guo
On Thu, Nov 5, 2020 at 1:50 PM zjfpla...@hotmail.com
wrote:
hi everyone,
Flink SQL有没有上一个SQL的输出是下一个SQL的输入的业务场景思路？
比如说KafkaSource -> SQL_1 -> SQL_2 -> MysqlSink，一整个链起来，作为一个任务提交运行~
best,
amenhub
关于行转列问题，请教一下
SELECT
alert_id,
organization_id
FROM (
SELECT alert_id, org_ids FROM db_ods_hive.ods_alert_content_in_hive WHERE
cd_date = '${date}'
)
LEFT JOIN LATERAL TABLE(ALERT_ORGANIZATION_IDS_TO_ROWS(org_ids, ',')) AS
T(organization_id) ON TRUE
WHERE
organization_id IS NOT
就比如我要用flink cdc 接入mysql表，一般都是直接将mysql表的DDL稍加修改然后在flink sql中创建，一般都不会考虑到
类型转换的问题就直接沿用mysql中的类型，当然sql也是一样的。同样的sql在满足语法正确性的情况下，mysql中能跑，而flinksql中无法跑，
当然可以通过显示类型转化来完成，但是能提供自动转化会更好的提供易用性。
> 在 2020年11月10日，下午2:51，Danny Chan 写道：
>
> 暂时还没有 你们是什么场景需要用到隐式类型
>
> 丁浩浩 <18579099...@163.com> 于2020年11月10日周二
这个错误一般是因为JM或者TM那边缺少相应的依赖，导致反序列化的时候失败了。
On Tue, Nov 10, 2020 at 8:22 AM 蒋龙 wrote:
> 大佬们好,使用flink读取hive报了一个很奇怪错：Caused by:
> org.apache.flink.runtime.operators.util.CorruptConfigurationException:
> Could not read the user code wrapper: invalid type code: 9C。一直不得其解，求赐教啊~
> flink：1.11.2
> hive:
暂时还没有 你们是什么场景需要用到隐式类型
丁浩浩 <18579099...@163.com> 于2020年11月10日周二 下午2:45写道：
> 请问有没有计划加入隐式类型自动转化呢
>
> > 在 2020年11月10日，下午2:35，Jark Wu 写道：
> >
> > 是的。Flink 目前还不支持隐式类型转换。
> >
> > Best,
> > Jark
> >
> > On Tue, 10 Nov 2020 at 14:28, hailongwang <18868816...@163.com> wrote:
> >
> >> Hi，
> >>
> >>
> >>
可以提供详细信息，比如 sql 语句是啥 报错堆栈给出来
赵帅 于2020年11月10日周二 下午2:48写道：
> 请教一下，flink sql，lateral table如何配合insert overwrite使用，直接select不报错，但是一旦insert
> overwrite就报错
请教一下，flink sql，lateral table如何配合insert overwrite使用，直接select不报错，但是一旦insert
overwrite就报错
请问有没有计划加入隐式类型自动转化呢
> 在 2020年11月10日，下午2:35，Jark Wu 写道：
>
> 是的。Flink 目前还不支持隐式类型转换。
>
> Best,
> Jark
>
> On Tue, 10 Nov 2020 at 14:28, hailongwang <18868816...@163.com> wrote:
>
>> Hi，
>>
>>
>> 从你的报错来看，是 in 不支持隐式 CAST。
>> 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
>>
>>
>> Best,
>>
拿 BatchTableEnvironment 对象作什么用处呢 ？ 我们有 TableEnvironmentInternal 但是不推荐使用。
Asahi Lee <978466...@qq.com> 于2020年11月9日周一 下午5:09写道：
> 是的，BatchTableEnvironment 对象
>
>
>
>
> --原始邮件--
> 发件人:
> "user-zh"
>
如题，望各位老师指点。
--
Sent from: http://apache-flink.147419.n8.nabble.com/
是的。Flink 目前还不支持隐式类型转换。
Best,
Jark
On Tue, 10 Nov 2020 at 14:28, hailongwang <18868816...@163.com> wrote:
> Hi，
>
>
> 从你的报错来看，是 in 不支持隐式 CAST。
> 你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
>
>
> Best,
> Hailong Wang
>
> 在 2020-11-10 10:41:47，"丁浩浩" <18579099...@163.com> 写道：
> >我使用flink sql
Hi，
从你的报错来看，是 in 不支持隐式 CAST。
你要么可以把 type 定义成 INT，要不把后面的值 CAST 成 TINYINT。
Best,
Hailong Wang
在 2020-11-10 10:41:47，"丁浩浩" <18579099...@163.com> 写道：
>我使用flink sql cdc取连接 mysql表的时候，当我的mysql表type这个字段类型是tinyint类型时 使用type
>in（1,2,3,4,5）会报以下的错误，只有当我把字段类型改成int的时候才能使用in，这是符合预期的吗，当字段类型不匹配的时候 flink
我使用flink sql cdc取连接 mysql表的时候，当我的mysql表type这个字段类型是tinyint类型时 使用type
in（1,2,3,4,5）会报以下的错误，只有当我把字段类型改成int的时候才能使用in，这是符合预期的吗，当字段类型不匹配的时候 flink
sql不会自动转换类型吗？
[ERROR] Could not execute SQL statement. Reason:
org.codehaus.commons.compiler.CompileException: Line 6, Column 88: No
applicable
hi everyone,
最近在使用Flink-1.11.1 On Yarn Per
Job模式提交简单的kafka->mysql任务时，发现当有脏数据或mysql主键限制等等原因导致Flink任务状态置为Failed时，Yarn
application仍处于运行状态
疑问是Flink任务处于Failed或Finished时，不会反馈自身状态给Yarn吗？期待大佬解惑，谢谢
best,
amenhub
大佬们好,使用flink读取hive报了一个很奇怪错：Caused by:
org.apache.flink.runtime.operators.util.CorruptConfigurationException: Could
not read the user code wrapper: invalid type code: 9C。一直不得其解，求赐教啊~
flink：1.11.2
hive: 2.2.0
hadoop:3.0.3
感觉像是输入输出流的包装那里有问题，但不知道是哪里有问题。on
大佬们好,第一次使用flink读取hive报了一个很奇怪错：Caused by:
org.apache.flink.runtime.operators.util.CorruptConfigurationException: Could
not read the user code wrapper: invalid type code: 9C。一直不得其解，求赐教啊~
flink：1.11.2
hive: 2.2.0
hadoop:3.0.3
完成代码：
public class flink {
public static void main(String[] args)
Hi
异常信息中有 “Failed to trigger savepoint. Failure reason: An Exception
occurred while triggering the checkpoint.” 或许你可以看看 JM 的日志，找一下看看有没有什么详细日志
Best,
Congxian
张锴 于2020年11月7日周六 下午4:14写道：
> 本人用flink 1.10.1版本进行savepoint时遇到下列错误，暂时不清楚错误的原因，特来寻求帮助，麻烦大佬们看看
>
>
Hi
可以通过增大 "taskmanager.memory.jvm-overhead.max" [1] 以及
"taskmanager.memory.process.size" [2] 来增大可以超用的内存空间。可以通过观察
"state.backend.rocksdb.metrics.block-cache-pinned-usage" [3]
的数值看rocksDB使用的native memory是否超过managed memory。
[1]
??BatchTableEnvironment
----
??:
"user-zh"
在native K8s模式下，创建的JM Pod、TM Pod，看代码中将flink process memor分配给了Pod可使用的资源。
我理解，pod中不止JVM进程，还可能有其他内存占用，例如Linux系统使用内存。
所以我有个疑问是pod系统占用多少内存？
--
Sent from: http://apache-flink.147419.n8.nabble.com/
27 matches
Mail list logo
