nebula-exchange edge write error

:thinking: 我们对 spark 只有以来的 spark、scala 这些的版本号要求。Nebula 内核的要求你可以参考这个 准备资源 - Nebula Graph Database 手册

:thinking: 哪个帖子可以让我学习下吗,你说的更新是 update 还是 upsert

就是exchange做导入时,相同数据更新和新数据插入,这两个的速度比较,我是这样理解的,我忘记是哪个贴了,就是论坛上的,翻出来了给你发

Out of range 这个问题可以请教下内核同学。@steam
关于速度,可以调 batch和partition,同时将分配给spark任务的cores数设置成 partition的1/2。 Batch可以500,1000,2000来测试

1 个赞

我发现刚才进行边写入时有一个警告,
Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.
This behavior can be adjusted by setting ‘spark.debug.maxToStringFields’ in SparkEnv.conf.
不知道这个问题是否是导致超出范围的提示

小数据量测试同样报了这个问题,batch已经降下来了,很奇怪之前咋成功的

不是

这是nebula返回出来的error message

语句本身超出该字段属于能允许的最大范围。
比如 INSERT VERTEX person(id) VALUES “100”:(9223372036854775807) ;
会执行成功

而 INSERT VERTEX person(id) VALUES “100”:(9223372036854775808) ; 会失败

执行的语句的参数超出范围了。

1 个赞

我不是大佬啦,你好,请问类型是不FIXED_STRING? fixed_string有最大长度限制

好的,我大概知道是数据类型的原因了,我去排查就可以了,感谢大佬

不用谢哈,你太客气了。

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。