用spark connect read读nebula数据报错

zh-nebula · 2021 年11 月 26 日 03:19

spark-connect是2.6.0
nebula是2.6.1

很奇怪,我自己写代码通过spark connect read去读数据就报这两个错误,第一张图是每次第一次执行的时候报的错误,第二张是后面再执行的时候报的错误,但是我如果写代码打成jar的形式提交到集群上可以写数据,依赖都是加到spark-connect依赖

nicole · 2021 年11 月 29 日 03:43

依赖冲突

zh-nebula · 2021 年11 月 29 日 03:43

那怎么改

nicole · 2021 年11 月 29 日 03:46

解决你本地的spark版本问题， spark版本不匹配。

zh-nebula · 2021 年11 月 29 日 03:47

我的spark是3.0的你是说我要把spark版本降低吗？

nicole · 2021 年11 月 29 日 03:47

文档明确说明了要求的spark版本信息。 spark3 不兼容

zh-nebula · 2021 年11 月 29 日 03:48

？？我看到的只是exchange说了， spark-connect没看到spark3.0不兼容

nicole · 2021 年11 月 29 日 03:54

connector没有spark版本的说明么，他和exchange一样的。 @lzy 文档中加一下吧