spark reader 运行报错

splendor023 · 2020 年9 月 17 日 08:29

一样的，这个jar只有7KB大小
不知道为什么这个so文件没有包含进去

darionyaphet · 2020 年9 月 17 日 09:35

你在什么环境下编译的

splendor023 · 2020 年9 月 17 日 09:36

JDK:1.8
MAC: 10.15.6
其他的按照上面的提示编译

darionyaphet · 2020 年9 月 18 日 07:33

我们应该是不支持Mac下面编译

splendor023 · 2020 年9 月 18 日 09:34

我们是希望能在mac下运行spark程序进行调试，要不然不太方便
有个疑问是这个so看名字是用来做编解码的或者读取存储的？java-client可以，为什么spark不行？不都是java调用吗？有点好奇哈

critical27 · 2020 年9 月 21 日 02:37

很早的时候试过，mac上能编，但是有些坑需要踩。java client可能也需要改部分代码，生成的动态库也不是so后缀名，类似dylib之类的名字。

splendor023 · 2020 年9 月 22 日 01:50

所以，现在还能在mac上搞吗？或者你们还继续搞吗？

darionyaphet · 2020 年9 月 22 日 02:33

因为里面包含一个Linux 环境编译出来的 so 文件这个在 Mac下是运行不了的

Mac下面应该也可以编译 JNI 吧但就不是 so 文件了

darionyaphet · 2020 年9 月 22 日 11:18

这里有一个 MacOS下编译 JNI 的PR

henson · 2020 年11 月 9 日 03:10

这个最后是解决了么

dingding · 2020 年11 月 9 日 03:22

参考该贴子

henson · 2020 年11 月 10 日 01:11

这个是怎么修改的

dingding · 2020 年11 月 10 日 01:23

不需要做任何修改，直接克隆下来，按照这里的 https://github.com/vesoft-inc/nebula/blob/master/src/jni/README.md 执行就好

henson · 2020 年11 月 11 日 01:45

docker 运行的nebula集群，运行spark reader的主机仍然需要与nebula保持同一network?

dingding · 2020 年11 月 11 日 06:12

是的，因为它需要访问storaged和metad

henson · 2020 年11 月 11 日 06:16

头疼，目前看来我还是裸机部署方便些
docker部署的nebula,已有的spark集群就没法用了

yee · 2020 年11 月 11 日 07:54

docker 部署的集群只要把端口映射到所在的 host 就可以呀，你说的保持同一个 network 是说 spark reader 也是用 docker 运行的？

henson · 2020 年11 月 11 日 07:57

目前在mac测试这样映射出来是不行的，不仅是spark reader 还有python client scan

scan的讨论

henson · 2020 年11 月 11 日 09:12

我一个写python的看的一头雾水，这个jar文件我挤出来了，下面要怎么做呢

SZU-IC · 2020 年11 月 27 日 12:30

你好，请问可以在window上运行调试？我把你们代码clone下来，跑了一下也报java.lang.UnsatisfiedLinkError错误