hudi对应的spark-avro的问题

2020-05-26 Thread gaofeng5...@capinfo.com.cn
spark版本2.3.2.3.1.0.0-78,提交代码为: def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName("Demo") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .master("local[3]") .getOrCreate() //insert(spark) update(spark) query(spark)

Re: hudi对应的spark-avro的问题

2020-05-26 Thread Lamber Ken
嗨,从 hudi-0.5.2 版本后,推荐使用 spark-2.4.4 版本,同时在spark-2.4.4中,spark-avro被单独出来,需要手动添加到 jars 目录中。并不兼容spark-2.3.3版。 如果有其他问题,联系微信 19941866946,进国内微信群。 On 2020/05/26 07:23:02, "gaofeng5...@capinfo.com.cn" wrote: > > > > spark版本2.3.2.3.1.0.0-78,提交代码为: > def main(args: Array[String]): Unit = { > val sp

Re: hudi对应的spark-avro的问题

2020-05-26 Thread Lamber Ken
另外一个细节点:用apache的邮箱,收不到图片。 谢谢 On 2020/05/26 07:23:02, "gaofeng5...@capinfo.com.cn" wrote: > > > > spark版本2.3.2.3.1.0.0-78,提交代码为: > def main(args: Array[String]): Unit = { > val spark = SparkSession.builder.appName("Demo") > .config("spark.serializer", "org.apache.spark.serializer.KryoS