从neo4j导入nebula之后丢了部分数据

问答 问题
1
  • nebula 版本：v1.1.0
  • 部署方式（分布式 / 单机 / Docker / DBaaS）：单机，三节点
  • 问题的具体描述
    neo4j导入nebula之前，先查了一下neo4j目前的节点label数据量：41637248
    image
    导入nebula之后：41615393，少了21855条数据。
    image
  • 问题线索
    spark write导入完的日志，由于导入花了大概12个多小时，之前的日志都刷过去了。
    image
    image1191×319 17.3 KB

    spark writer conf配置文件
    image
    neo4j中mobile label只有一个vid属性string类型，记录电话号码，并且加了唯一约束和索引
    image
    image
2

单机三节点是啥意思？三个storaged在一台机器？

3

@nicole spark writer失败部分的日志会有特别记录吗，不知道是不是导入过程中有失败的情况。

4

是的
image

5

这个是哪个目录的dump？3个storaged那就应该有三个数据目录。

另外，单机用3个storaged 完全没有必要

6

三个数据目录都是一样的count，我只列了一个。三个storage 只是由于机器只有一台，部署集群先做备库测试一下。

7

如果3个storaged进程访问同一个数据目录，一定是有问题的。

8

三个storage分别在三个目录
image

9

ok

10

那为什么3个目录 用dump出来的数据量一模一样，这不对吧。
show hosts
show partition
看下partition分布

11

image
image772×804 15 KB

12

你好，dump统计之前有没有进行submit job flush操作呢

13

他可以是三副本

14

是的

15

刚刚三个节点都执行了一下submit job flush; 结果统计还是一样的。

image
image699×208 4.64 KB

16

问下这个字段可能会有NULL吗？唯一约束似乎不限制NULL

17

没有null值
image

18

我没有把spark writer输出到日志文件，不好排除是不是有插入失败的情况。

19

要不我今晚再跑一次吧，明早看一下结果，把日志打印出来。

20

我感觉就是写失败了一部分，没有处理