Hi
从你给的这部分日志看，是恢复的时候遇到 EOF 了，这个比较奇怪
1 你之前的 savepoint 是使用 RocksDBStateBackend 生成的吗
2 你还有之前在 DFS 上的 savepoint 文件吗？可能需要结合 DFS 上的文件一起看一下这个问题怎么来的
Best,
Congxian
Z-Z 于2020年7月17日周五 下午11:10写道：
> Flink 1.10.0 ,taskmanager报错日志如下：
>
>
> 2020-07-17 15:06:43,913 ERROR
> org.apache.flink.contrib.streaming.
大家好，我想通过avro格式sink到kafka,请问该怎么实现，官网上没找到相关方法。
如果你是用flink sql的，可以通过DDL的方式来定义kafka sink，参考 [1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
Best,
Godfrey
smq <374060...@qq.com> 于2020年7月19日周日 下午9:36写道：
> 大家好，我想通过avro格式sink到kafka,请问该怎么实现，官网上没找到相关方法。
大家好，怎么实现一个滚动窗口内的连续递增元素个数，比如每小时累计用户登录数，比如说凌晨1点登录了500人，到了两点就累计到1200，到3点累计到这样实现一个递增曲线，在网上看到云邪大佬写的sql但是不会写datastream
api，希望看到的大佬能帮我解惑一下，谢谢啦
| |
罗显宴
|
|
邮箱：15927482...@163.com
|
签名由 网易邮箱大师 定制
谢谢，我试试
发送自 Windows 10 版邮件应用
发件人: godfrey he
发送时间: 2020年7月19日 23:06
收件人: user-zh
主题: Re: flink sink到kafka
如果你是用flink sql的，可以通过DDL的方式来定义kafka sink，参考 [1]
[1]
https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/kafka.html
Best,
Godfrey
smq <374060...@qq.com> 于2020年7
??
??savepointRocksDBStateBackend
savepoint??webui ??IDE??savepoint??
-- --
??:
谢谢，我直接更改了 KafkaDynamicSinkBase 的 getChangelogMode 方法, 是可以实现目的的。
更改前：
public ChangelogMode getChangelogMode(ChangelogMode requestedMode) {
return this.encodingFormat.getChangelogMode();
}
更改后:public ChangelogMode getChangelogMode(ChangelogMode requestedMode) {
return ChangelogMode.newBui
ok 我过两天试一下 最近有点忙 过两天测试一下1.11 到时候结果同步给大家 ，另外之前测试jdk使用jdk1.8.0_231 也是不行的
会报同样的错误
在 2020-07-13 20:06:01，"Congxian Qiu" 写道：
>Hi 程龙
>
>如果可以的话，也麻烦使用 1.11.0 测试下看问题是否还存在。
>
>Best,
>Congxian
>
>
>程龙 <13162790...@163.com> 于2020年7月13日周一 上午10:45写道：
>
>>
>>
>>
>>
>>
>>
>> 问题不是很常见 ，但是同一个任
Flink从1.10开始是支持用user classloader来加载用户jar的，包括Standalone perjob
你需要将jar包放到$FLINK_HOME/usrlib目录下，如果放到lib下就会用框架的classloader
来加载
Best,
Yang
LakeShen 于2020年7月17日周五 上午10:02写道：
> 嗯嗯，Congxian,感谢你的回复，我通过 Maven Shaded 解决问题😁。
>
> Congxian Qiu 于2020年7月16日周四 下午8:19写道：
>
> > Hi
> >
> > 你的图挂了，如果单纯想解决 jar 包冲突
从长远看，社区是想逐步统一各个deployment下的参数的（Yarn/K8s），所以CLI Config options
会逐渐被废弃，而使用dynamic config options的方式
Best,
Yang
Zhou Zach 于2020年7月16日周四 下午4:28写道：
> nice, 可以不用看Command-Line Interface的文档了
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
>
> 在 2020-07-16 16:16:00，"xiao cai" 写道：
> >可以看这里
> https://ci.apache.org/proj
你的报错是在Client端还是JM端呢，client/JM的日志以及启动命令最好可以发一下吧
这样方便查问题
Application和Perjob模式本质上的区别是用户main运行的位置不一样，所以会导致JM启动的classpath
也不太一样的
Best,
Yang
Hito Zhu 于2020年7月16日周四 下午4:26写道：
> Hi all
> 我把作业提交模式从 yarn-cluster 换成 application 模式，启动失败，报两个错误：
> 1、java.lang.ClassNotFoundException:
> org.apache.hadoop.ya
taskmanagercliwebui??
2020-07-20 03:29:25,959 WARN
org.apache.kafka.clients.consumer.ConsumerConfig
- The configuration 'value.serializer' was supplied but
isn't a known config.
2020-07-20 03:29:25,959 INFO
org.apache.ka
stacktrace上看起来是创建blink planner的时候出错的。检查下依赖的blink planner版本是不是正确？
On Fri, Jul 17, 2020 at 7:29 PM kcz <573693...@qq.com> wrote:
> idea 本地测试
> 跟hive有关pom依赖
> hive-exec flink-connector-hive_2.11
> 代码如下:
> StreamExecutionEnvironment env =
> StreamExecutionEnvironment.getExecutionEnvironment();
>
建表的时候也可以指定Catalog的，创建kafka表指定default_catalog就不会创建到hive Catalog里去了
On Fri, Jul 17, 2020 at 5:13 PM Jingsong Li wrote:
> CREATE TEMPORARY TABLE kafka_table...
> 好像没文档，我建个JIRA跟踪下
> https://issues.apache.org/jira/browse/FLINK-18624
>
> Best,
> Jingsong
>
> On Fri, Jul 17, 2020 at 5:05 PM Dream-底限 w
Hi,
累计是仅在一天之内累计吗，这样的话可以开个一天的Tumbling
Window，然后使用ContinusEventTimeTrigger每小时触发一下输出结果。
Best,
shizk233
罗显宴 <15927482...@163.com> 于2020年7月20日周一 上午1:18写道：
>
> 大家好，怎么实现一个滚动窗口内的连续递增元素个数，比如每小时累计用户登录数，比如说凌晨1点登录了500人，到了两点就累计到1200，到3点累计到这样实现一个递增曲线，在网上看到云邪大佬写的sql但是不会写datastream
> api，希望看到的大佬能帮我解惑一下，谢谢啦
现在具体是遇到了什么冲突呀？hive
connector本身在依赖hive的时候确实也排除了很多传递依赖，才能正常运行UT和IT。也可以参考我们的pom来看排除了哪些依赖：
https://github.com/apache/flink/blob/release-1.11.0/flink-connectors/flink-connector-hive/pom.xml
On Fri, Jul 17, 2020 at 5:32 PM Dream-底限 wrote:
> hi
> 我用的是用户定义依赖，没有用捆绑依赖包，捆绑依赖包还要自己下载一次。
>
> Dream-底限 于20
1.11 把默认planner换成blink了，需要添加下blink planner的依赖
Best,
Kurt
On Mon, Jul 20, 2020 at 11:39 AM Rui Li wrote:
> stacktrace上看起来是创建blink planner的时候出错的。检查下依赖的blink planner版本是不是正确？
>
> On Fri, Jul 17, 2020 at 7:29 PM kcz <573693...@qq.com> wrote:
>
> > idea 本地测试
> > 跟hive有关pom依赖
> > hive-exec flink-conn
不是，是连续累计，比如我在某个医药网站上爬取有关药物，每小时统计爬取到的新增药物种类，然后一直这样进行下去，然后这个网站爬完了，可以换另一个网站，
| |
罗显宴
|
|
邮箱：15927482...@163.com
|
签名由网易邮箱大师定制
在2020年7月20日 11:47，shizk233 写道：
Hi,
累计是仅在一天之内累计吗，这样的话可以开个一天的Tumbling
Window，然后使用ContinusEventTimeTrigger每小时触发一下输出结果。
Best,
shizk233
罗显宴 <15927482...@163.com> 于2020年7月20日周一
Hi
这个调试可以在 IDEA 进行的。
另外你说的通过 web ui 提交没有问题。请问下，是同一个 savepoint 通过 flink run 提交有问题，通过 web ui
提交没有问题吗？如果是的，能否分享下你的操作过程和命令呢？
Best,
Congxian
Z-Z 于2020年7月20日周一 上午11:33写道：
> 这是taskmanager新报的一个错，还是跟之前一样，用cli提交报错，用webui提交就没问题：
> 2020-07-20 03:29:25,959 WARN
> org.apache.kafka.clients.consumer.Consum
19 matches
Mail list logo
