Re:回复: Re: Flink SQL ：Unknown or invalid SQL statement.

2019-10-08 文章 Henry 


谢谢啦






在 2019-10-09 11:19:17，"pengchengl...@163.com"  写道：
>你好，可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html
>
>
>
>pengchengl...@163.com
> 
>发件人： Henry
>发送时间： 2019-10-09 10:44
>收件人： user-zh
>主题： Re:Re: Flink SQL ：Unknown or invalid SQL statement. 
> 
> 
> 
>哈，非常非常感谢啦。 在 yaml 里定义使用表的哪些内容呢？有木有相关资料呢？ 木有搜到呢。谢谢了。
> 
> 
> 
> 
> 
>在 2019-10-09 10:16:20，"Terry Wang"  写道：
>>SQL client目前还不支持create table语法，你需要在yaml文件里定义使用的表。
>>
>>Best,
>>Terry Wang
>>
>>
>>
>>> 2019年10月9日 上午8:49，Henry  写道：
>>> 
>>> 大家好，求助一下。
>>> FIink SQL> create table kafka_source( 
 messageKey varbinary, 
 message  varbinary, 
 topic varchar, 
>>> ＞'partition'  int, 
 'offset'  bigint 
 ) with ( 
 type='kafka011', 
 topic='test', 
 bootstrap. servers='thcathost:9092', 
 'group. id'='chf' 
 ); 
>>> 
>>> 
>>> [ERROR] Unknown or invalid SQL statement.

回复: Re: Flink SQL ：Unknown or invalid SQL statement.

2019-10-08 文章 pengchengl...@163.com 
你好，可以参考https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html



pengchengl...@163.com
 
发件人： Henry
发送时间： 2019-10-09 10:44
收件人： user-zh
主题： Re:Re: Flink SQL ：Unknown or invalid SQL statement. 
 
 
 
哈，非常非常感谢啦。 在 yaml 里定义使用表的哪些内容呢？有木有相关资料呢？ 木有搜到呢。谢谢了。
 
 
 
 
 
在 2019-10-09 10:16:20，"Terry Wang"  写道：
>SQL client目前还不支持create table语法，你需要在yaml文件里定义使用的表。
>
>Best,
>Terry Wang
>
>
>
>> 2019年10月9日 上午8:49，Henry  写道：
>> 
>> 大家好，求助一下。
>> FIink SQL> create table kafka_source( 
>>> messageKey varbinary, 
>>> message  varbinary, 
>>> topic varchar, 
>> ＞'partition'  int, 
>>> 'offset'  bigint 
>>> ) with ( 
>>> type='kafka011', 
>>> topic='test', 
>>> bootstrap. servers='thcathost:9092', 
>>> 'group. id'='chf' 
>>> ); 
>> 
>> 
>> [ERROR] Unknown or invalid SQL statement.

Re: 文件重命名

2019-10-08 文章 XW Marvin 
补充下问题

Flink 1.9.0

1.使用StreamingFileSink 消费kafka数据到HDFS
2.开启了EXACTLY_ONCE
3.StreamingFileSink.forBulkFormat，Parquet格式、snappy压缩

写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式

如何重命名啊？

marvin.mxw  于2019年10月8日周二 下午6:11写道：

> 补充下问题
>
> Flink 1.9.0
>
> 1. 使用StreamingFileSink 消费kafka数据到HDFS
> 2. 开启了EXACTLY_ONCE
> 3. StreamingFileSink.forBulkFormat，Parquet格式、snappy压缩
>
> 写入hdfs的文件都是
> part-{parallel-task}-{count}
> 这种格式
>
> 如何重命名啊？
>
> marvin.mxw
> marvin@gmail.com
>
> 
> 签名由 网易邮箱大师  定制
>
> 在2019年10月8日 18:07，marvin.mxw 
> 写道：
>
>
> 补充下问题
>
> Flink 1.9.0
>
> 1. 使用StreamingFileSink 消费kafka数据到HDFS
> 2. 开启了EXACTLY_ONCE
> 3. StreamingFileSink.forBulkFormat，Parquet格式、snappy压缩
>
> 写入hdfs的文件都是
> part-{parallel-task}-{count}
> 这种格式
>
> 如何重命名啊？
>
> marvin.mxw
> marvin@gmail.com
>
> 
> 签名由 网易邮箱大师  定制
>
> 在2019年10月8日 17:51，Zili Chen 
> 写道：
>
> 简单看了下拼文件名的规则，你可以试试
>
> RowFormatBuilder#withPartFilePrefix
> RowFormatBuilder#withPartFileSuffix
>
> 这两个方法。应该可以将你的文件名设置成
>
> --
>
> 中间段是写死的。
>
> 如果你有更自定义的重命名需求，建议把你为什么需要重命名具体的说一下。
>
> Best,
> tison.
>
>
> Wesley Peng  于2019年10月8日周二 下午5:43写道：
>
> May you want to rename them in HDFS with FileSystem.rename method?
>
>
> on 2019/10/8 17:39, yanggang_it_job wrote:
>
> 写入hdfs的文件都是
> part-{parallel-task}-{count}
> 这种格式
>
>
> 如何重命名啊？
>
>
>

Re: 文件重命名

2019-10-08 文章 Zili Chen 
简单看了下拼文件名的规则，你可以试试

RowFormatBuilder#withPartFilePrefix
RowFormatBuilder#withPartFileSuffix

这两个方法。应该可以将你的文件名设置成

--

中间段是写死的。

如果你有更自定义的重命名需求，建议把你为什么需要重命名具体的说一下。

Best,
tison.


Wesley Peng  于2019年10月8日周二 下午5:43写道：

> May you want to rename them in HDFS with FileSystem.rename method?
>
>
> on 2019/10/8 17:39, yanggang_it_job wrote:
> > 写入hdfs的文件都是
> > part-{parallel-task}-{count}
> > 这种格式
> >
> >
> > 如何重命名啊？
>

Re: 文件重命名

2019-10-08 文章 Wesley Peng 

May you want to rename them in HDFS with FileSystem.rename method?


on 2019/10/8 17:39, yanggang_it_job wrote:

写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式


如何重命名啊？

文件重命名

2019-10-08 文章 yanggang_it_job 
Dear All


Flink 1.9.0


1. 使用StreamingFileSink 消费kafka数据到HDFS
2. 开启了EXACTLY_ONCE


写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式


如何重命名啊？


Best

flink StreamingFileSink to HDFS 修改文件名字

2019-10-08 文章 XW Marvin 
flink 1.9.0

1. 使用StreamingFileSink 消费kafka数据到HDFS
2. 开启了EXACTLY_ONCE

写入hdfs的文件都是
part-{parallel-task}-{count}
这种格式

如何重命名啊？

Re: Flink 1.8 版本如何进行 TaskManager 的资源控制

2019-10-08 文章 Xintong Song 
逸尘你好，

像你说的这种情况，可以先根据作业的并发数算出总共需要多少个slot，然后通过配置每个TM的slot数和资源大小来控制总资源开销。相关配置如下：

   - 单个TM的vcore数：yarn.containers.vcores
   - 单个TM的内存大小：taskmanager.heap.size
   - 单个TM中的slot数量：taskmanager.numberOfTaskSlots

上述配置可以在flink-conf.yaml配置文件中修改，也可以作为动态配置添加在 flink run
命令的末尾，在yarn上提交时动态配置的格式为 '-yD =' 。

Thank you~

Xintong Song



On Tue, Oct 8, 2019 at 1:59 PM LakeShen  wrote:

> Flink任务自身无法隔离CPU，我想了一下，在内存方面，你可以结合用户输入的参数提前计算出来任务使用的内存大小，同样，VCore也是。
> 最近我们这边也准备限制用户申请的资源。
>
> 龙逸尘  于2019年10月7日周一 下午4:50写道：
>
> > Dear community,
> > 我搭建了一个实时计算平台，由于历史遗留问题，目前使用的 Flink 版本是社区版1.5.0，hadoop版本是2.7.3，采用flink
> on
> > yarn ha部署，直接部署在物理机上没有使用 K8S，服务启动采用 flink run 脚本提交 yarn per-job 任务。
> > 目前想将 Flink 版本升级到 1.8 以上的版本，但是遇到了资源控制的问题，情况具体描述如下：
> > 1.5 版本：
> > 任务采用 Legacy 运行模式，一个 TaskManager 对应一个 slot，通过在命令行中设置 -yn 参数来控制 TM
> > 的数量，设置 -ytm 参数来控制 TM 的内存，设置 -s 参数来控制任务的总 cpu 数(slot 数*taskmanager
> > 数)，脚本示例如下：
> >
> > flink run -m yarn-cluster -d -yjm 2048 -ys 1 -yn 2 -ytm 4096
> > WordCount.jar
> >
> > 1.8 版本：
> > 任务已经废除 Legacy 运行模式，并将 -yn 参数置为 deprecated，log 如下：
> > The argument yn is deprecated in will be ignored
> > 追踪源码发现，slot 数仅仅与任务的并行度有关，所以无法通过命令行进行限制总内存与 CPU 数目
> >
> > 我的问题：
> > 1.由于用户代码是直接提交到平台上的，无法知道程序的并行度，是否有机制可以预先限制YARN per-job 模式下 Flink
> > 任务的总内存与 CPU 数目？
> > 2.各位公司搭建的实时计算平台，一般是如何进行运算资源的限制的？
> >
> > 期待解答，祝好!
> >
>