spark reader 运行报错

一样的,这个jar只有7KB大小
不知道为什么这个so文件没有包含进去

你在什么环境下编译的

JDK:1.8
MAC: 10.15.6
其他的按照上面的提示编译

我们应该是不支持Mac下面编译

我们是希望能在mac下运行spark程序进行调试,要不然不太方便
有个疑问是这个so看名字是用来做编解码的或者读取存储的?java-client可以,为什么spark不行?不都是java调用吗?有点好奇哈

很早的时候试过,mac上能编,但是有些坑需要踩。java client可能也需要改部分代码,生成的动态库也不是so后缀名,类似dylib之类的名字。

所以,现在还能在mac上搞吗?或者你们还继续搞吗?

因为里面包含一个Linux 环境编译出来的 so 文件 这个在 Mac下是运行不了的

Mac下面应该也可以编译 JNI 吧 但就不是 so 文件了

这里有一个 MacOS下编译 JNI 的PR

1 个赞

:upside_down_face: 这个最后是解决了么

参考该贴子

这个是怎么修改的

不需要做任何修改,直接克隆下来,按照这里的 https://github.com/vesoft-inc/nebula/blob/master/src/jni/README.md 执行就好

docker 运行的nebula集群,运行spark reader的主机仍然需要与nebula保持同一network?

是的,因为它需要访问storaged和metad

头疼,目前看来我还是裸机部署方便些
docker部署的nebula,已有的spark集群就没法用了

@dingding @jude-zhu

docker 部署的集群只要把端口映射到所在的 host 就可以呀,你说的保持同一个 network 是说 spark reader 也是用 docker 运行的?

目前在mac测试这样映射出来是不行的,不仅是spark reader 还有python client scan

scan的讨论

我一个写python的看的一头雾水,这个jar文件我挤出来了,下面要怎么做呢

你好,请问可以在window上运行调试?我把你们代码clone下来,跑了一下也报java.lang.UnsatisfiedLinkError错误

浙ICP备20010487号