Hi
从你给的这部分日志看,是恢复的时候遇到 EOF 了,这个比较奇怪
1 你之前的 savepoint 是使用 RocksDBStateBackend 生成的吗
2 你还有之前在 DFS 上的 savepoint 文件吗?可能需要结合 DFS 上的文件一起看一下这个问题怎么来的
Best,
Congxian
Z-Z 于2020年7月17日周五 下午11:10写道:
> Flink 1.10.0 ,taskmanager报错日志如下:
>
>
> 2020-07-17 15:06:43,913 ERROR
> org.apache.flink.contrib.streaming.
大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。
如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
Best,
Godfrey
smq <374060...@qq.com> 于2020年7月19日周日 下午9:36写道:
> 大家好,我想通过avro格式sink到kafka,请问该怎么实现,官网上没找到相关方法。
大家好,怎么实现一个滚动窗口内的连续递增元素个数,比如每小时累计用户登录数,比如说凌晨1点登录了500人,到了两点就累计到1200,到3点累计到这样实现一个递增曲线,在网上看到云邪大佬写的sql但是不会写datastream
api,希望看到的大佬能帮我解惑一下,谢谢啦
| |
罗显宴
|
|
邮箱:15927482...@163.com
|
签名由 网易邮箱大师 定制
谢谢,我试试
发送自 Windows 10 版邮件应用
发件人: godfrey he
发送时间: 2020年7月19日 23:06
收件人: user-zh
主题: Re: flink sink到kafka
如果你是用flink sql的,可以通过DDL的方式来定义kafka sink,参考 [1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
Best,
Godfrey
smq <374060...@qq.com> 于2020年7
??
??savepointRocksDBStateBackend
savepoint??webui ??IDE??savepoint??
-- --
??:
谢谢,我直接更改了 KafkaDynamicSinkBase 的 getChangelogMode 方法, 是可以实现目的的。
更改前:
public ChangelogMode getChangelogMode(ChangelogMode requestedMode) {
return this.encodingFormat.getChangelogMode();
}
更改后:public ChangelogMode getChangelogMode(ChangelogMode requestedMode) {
return ChangelogMode.newBui
ok 我过两天试一下 最近有点忙 过两天测试一下1.11 到时候结果同步给大家 ,另外之前测试jdk使用jdk1.8.0_231 也是不行的
会报同样的错误
在 2020-07-13 20:06:01,"Congxian Qiu" 写道:
>Hi 程龙
>
>如果可以的话,也麻烦使用 1.11.0 测试下看问题是否还存在。
>
>Best,
>Congxian
>
>
>程龙 <13162790...@163.com> 于2020年7月13日周一 上午10:45写道:
>
>>
>>
>>
>>
>>
>>
>> 问题不是很常见 ,但是同一个任
Flink从1.10开始是支持用user classloader来加载用户jar的,包括Standalone perjob
你需要将jar包放到$FLINK_HOME/usrlib目录下,如果放到lib下就会用框架的classloader
来加载
Best,
Yang
LakeShen 于2020年7月17日周五 上午10:02写道:
> 嗯嗯,Congxian,感谢你的回复,我通过 Maven Shaded 解决问题😁。
>
> Congxian Qiu 于2020年7月16日周四 下午8:19写道:
>
> > Hi
> >
> > 你的图挂了,如果单纯想解决 jar 包冲突
从长远看,社区是想逐步统一各个deployment下的参数的(Yarn/K8s),所以CLI Config options
会逐渐被废弃,而使用dynamic config options的方式
Best,
Yang
Zhou Zach 于2020年7月16日周四 下午4:28写道:
> nice, 可以不用看Command-Line Interface的文档了
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-16 16:16:00,"xiao cai" 写道:
> >可以看这里
> https://ci.apache.org/proj
你的报错是在Client端还是JM端呢,client/JM的日志以及启动命令最好可以发一下吧
这样方便查问题
Application和Perjob模式本质上的区别是用户main运行的位置不一样,所以会导致JM启动的classpath
也不太一样的
Best,
Yang
Hito Zhu 于2020年7月16日周四 下午4:26写道:
> Hi all
> 我把作业提交模式从 yarn-cluster 换成 application 模式,启动失败,报两个错误:
> 1、java.lang.ClassNotFoundException:
> org.apache.hadoop.ya
taskmanagercliwebui??
2020-07-20 03:29:25,959 WARN
org.apache.kafka.clients.consumer.ConsumerConfig
- The configuration 'value.serializer' was supplied but
isn't a known config.
2020-07-20 03:29:25,959 INFO
org.apache.ka
stacktrace上看起来是创建blink planner的时候出错的。检查下依赖的blink planner版本是不是正确?
On Fri, Jul 17, 2020 at 7:29 PM kcz <573693...@qq.com> wrote:
> idea 本地测试
> 跟hive有关pom依赖
> hive-exec flink-connector-hive_2.11
> 代码如下:
> StreamExecutionEnvironment env =
> StreamExecutionEnvironment.getExecutionEnvironment();
>
建表的时候也可以指定Catalog的,创建kafka表指定default_catalog就不会创建到hive Catalog里去了
On Fri, Jul 17, 2020 at 5:13 PM Jingsong Li wrote:
> CREATE TEMPORARY TABLE kafka_table...
> 好像没文档,我建个JIRA跟踪下
> https://issues.apache.org/jira/browse/FLINK-18624
>
> Best,
> Jingsong
>
> On Fri, Jul 17, 2020 at 5:05 PM Dream-底限 w
Hi,
累计是仅在一天之内累计吗,这样的话可以开个一天的Tumbling
Window,然后使用ContinusEventTimeTrigger每小时触发一下输出结果。
Best,
shizk233
罗显宴 <15927482...@163.com> 于2020年7月20日周一 上午1:18写道:
>
> 大家好,怎么实现一个滚动窗口内的连续递增元素个数,比如每小时累计用户登录数,比如说凌晨1点登录了500人,到了两点就累计到1200,到3点累计到这样实现一个递增曲线,在网上看到云邪大佬写的sql但是不会写datastream
> api,希望看到的大佬能帮我解惑一下,谢谢啦
现在具体是遇到了什么冲突呀?hive
connector本身在依赖hive的时候确实也排除了很多传递依赖,才能正常运行UT和IT。也可以参考我们的pom来看排除了哪些依赖:
https://github.com/apache/flink/blob/release-1.11.0/flink-connectors/flink-connector-hive/pom.xml
On Fri, Jul 17, 2020 at 5:32 PM Dream-底限 wrote:
> hi
> 我用的是用户定义依赖,没有用捆绑依赖包,捆绑依赖包还要自己下载一次。
>
> Dream-底限 于20
1.11 把默认planner换成blink了,需要添加下blink planner的依赖
Best,
Kurt
On Mon, Jul 20, 2020 at 11:39 AM Rui Li wrote:
> stacktrace上看起来是创建blink planner的时候出错的。检查下依赖的blink planner版本是不是正确?
>
> On Fri, Jul 17, 2020 at 7:29 PM kcz <573693...@qq.com> wrote:
>
> > idea 本地测试
> > 跟hive有关pom依赖
> > hive-exec flink-conn
不是,是连续累计,比如我在某个医药网站上爬取有关药物,每小时统计爬取到的新增药物种类,然后一直这样进行下去,然后这个网站爬完了,可以换另一个网站,
| |
罗显宴
|
|
邮箱:15927482...@163.com
|
签名由网易邮箱大师定制
在2020年7月20日 11:47,shizk233 写道:
Hi,
累计是仅在一天之内累计吗,这样的话可以开个一天的Tumbling
Window,然后使用ContinusEventTimeTrigger每小时触发一下输出结果。
Best,
shizk233
罗显宴 <15927482...@163.com> 于2020年7月20日周一
Hi
这个调试可以在 IDEA 进行的。
另外你说的通过 web ui 提交没有问题。请问下,是同一个 savepoint 通过 flink run 提交有问题,通过 web ui
提交没有问题吗?如果是的,能否分享下你的操作过程和命令呢?
Best,
Congxian
Z-Z 于2020年7月20日周一 上午11:33写道:
> 这是taskmanager新报的一个错,还是跟之前一样,用cli提交报错,用webui提交就没问题:
> 2020-07-20 03:29:25,959 WARN
> org.apache.kafka.clients.consumer.Consum
19 matches
Mail list logo