spark reader 运行报错

所以,现在还能在mac上搞吗?或者你们还继续搞吗?

因为里面包含一个Linux 环境编译出来的 so 文件 这个在 Mac下是运行不了的

Mac下面应该也可以编译 JNI 吧 但就不是 so 文件了

这里有一个 MacOS下编译 JNI 的PR

1 个赞

:upside_down_face: 这个最后是解决了么

参考该贴子

这个是怎么修改的

不需要做任何修改,直接克隆下来,按照这里的 https://github.com/vesoft-inc/nebula/blob/master/src/jni/README.md 执行就好

docker 运行的nebula集群,运行spark reader的主机仍然需要与nebula保持同一network?

是的,因为它需要访问storaged和metad

头疼,目前看来我还是裸机部署方便些
docker部署的nebula,已有的spark集群就没法用了

@dingding @jude-zhu

docker 部署的集群只要把端口映射到所在的 host 就可以呀,你说的保持同一个 network 是说 spark reader 也是用 docker 运行的?

目前在mac测试这样映射出来是不行的,不仅是spark reader 还有python client scan

scan的讨论

我一个写python的看的一头雾水,这个jar文件我挤出来了,下面要怎么做呢

你好,请问可以在window上运行调试?我把你们代码clone下来,跑了一下也报java.lang.UnsatisfiedLinkError错误

window 应该运行不了 因为1.0的JNI 是 Linux 做出来的

1 个赞

好的,谢谢

我现在用的是nebula-spark v1.0.0的版本,也碰到这个jni的问题,想问一下我现在应该克隆哪个分支呢?

你是想在mac下面用吗?

对的!

mac下用不了v1.0的nebula-spark,只能在Linux下用。
你可以用2.0的spark-connector nebula-spark-utils/nebula-spark-connector at master · vesoft-inc/nebula-spark-utils · GitHub

1 个赞