2.6.2版本 生成SST流程报错

配置:5*32c64g1.8t
版本:V2.6.0
在生成SST文件时,把任务提交到阿里云EMR执行,启动container时报错
Lost task 0.3 in stage 6.0 (TID 38, emr-worker-18.cluster-196425, executor 18): org.rocksdb.RocksDBException: Cannot create sst file with no entries
请问下nebula的技术大佬们,是不是跟emr环境有关呀,那么需要怎么配置呀

你生成sst的数据库里有数据吗 :thinking:

1 个赞

上游是有数据的。会不会是我们用集群配置的问题呀,以下是我们的配置文件,请大佬们帮忙看下

meta 的端口你们是改过吗。没有的话,应该是用的9559 呀

改了的

45500 端口还挺熟悉的,:thinking: 你确定 meta 是起在这个端口吗

我们监听的45500,9559应该不是固定的吧。会不会exchange只能使用单机 不能集群呀 ,有没有集群部署的实例呀 ,通过yarn提交到spark集群的配置文件有demo么,求助大佬

我们现在修改tmp目录为hdfs目录,发现报找不到tmp目录的文件

大佬 能不能留个联系方式 我的号码是177xxxxxx27,我让部署图库的大哥 直接问下您 可能我的转述会有不清晰的地方 后续我在把这个帖子的解决方案贴上 完善好 :sob:


我觉得是你 meta 配置的不对,你看看 Nebula 集群的 meta 配置的端口号。你和部署集群的同学确认下

公开地方不提倡公示手机号等个人敏感信息,我给你编辑掉了。

感谢感谢

所以,:thinking: 问题解决了吗?我百分之八十肯定是 meta 地址有问题,你记得去问问部署的同学

还没解决好 :sob:

你先内部确定下端口号

大佬 我们安装图库的老师想要直接跟您交流下 可以不 :flushed: :sob:

:joy: 上论坛呗,或者最简单的,你贴下 Nebula 的部署配置就行,更简单

meta的:


graph的

storge

帮忙看下吧

大佬,请教三个问题哈:
1.download hdfs的URL能不能使用域名代替host:port这样的形式呀
2.安装的集群,是不是每一个节点都要安装hadoop呀
3.SST文件能不能从hdfs能不能下载下来手动添加到集群,不执行download hdfs呀

根据你们的配置文件,你去吧 45500 这个端口改成 9559,:thinking: 我很困惑为啥你们添加的 45500,文档上面示例也是 9559,你们配置的 meta address 的端口也是 9559。很好奇为啥你们会配 45500

端口改了之后应该就可以了。