spark-connector读取数据卡死

在使用spark-connector读取nebula的数据时,spark提交的任务卡死,我的版本如下
nebula v3.5.0


spark 3.4.3

spark通过docker-compose启动

nebula-spark-connector版本为3.4.0

Java中代码如下


观测spark的webui界面一直在执行,但是就是卡住,半个小时也读不出来数据,数据量很小,只有几十条

1 个赞

数据读取自哪? 数据 show一下。 connector日志贴上来一下

数据读取自nebula


connector日志指的是spark的日志吗

程序会一直卡在这一步,我怀疑是meta没有连接上

奇怪的是我docker log meta也会卡住,然后docker exec 进入meta中的log文件夹是空,

补充 不是卡住了,是没有日志产生,spark的ui如下


补充spark的日志,显示连接不上nebula的storage,是因为nebula在另一个docker网络中的原因吗

应该问题是这样的,

如何解决呢


问题已解决,是spark访问不到nebula,设置解析即可,

1 个赞

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。