spark-connector 中 guava 版本冲突

问答 问题
1

我这边使用时遇到一个问题：

业务场景是：离线数据写入 nebula。Spark 通过 spark-nebula-connector 写入 nebula。

遇到的问题一：只支持 2.4 版本的 spark 和 scala 2.11。这块我们降级了 spark 和 scala 解决的。

遇到的问题二：
（1）当前 connector 是通过 client 这里写入的，但 client 强依赖 guava-14：nebula-java/pom.xml at v3.3.0 · vesoft-inc/nebula-java · GitHub
（2）我们的 Spark 也依赖了 guava，guava-27.0-jre。

这两者的版本差别很大，如果用 guava-27.0，就会在 exchange 这里报错：java.lang.NoSuchMethodError (com.google.common.net.HostAndPort.getHostText()

如果用 guava-14.0，我们的 spark 读 hive 的时候又会报错：Exception in thread “main” java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument

2

guava包版本 14和27的HostAndPort类的 获取host方法名不同，你可以自己改一下connector或者exchange中的guava版本，并修改下HostAndPort.getHostTex这个方法，然后本地打包

3 个赞
3

感谢，通过这种方式，问题解决了

2 个赞
4

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。