Nebula导入csv失败

Big_Feiyang · 2021 年3 月 9 日 07:27

Nebula1.2.0集群部署成功，图结构创建成功，导入时存在部分数据导入错误，报错信息如下：

2021/03/05 07:53:47 [INFO] clientmgr.go:28: Create 10 Nebula Graph clients
2021/03/05 07:53:47 [INFO] reader.go:26: The delimiter of /home/feiyang/test/data/vertex.csv is U+0009
2021/03/05 07:53:47 [INFO] reader.go:64: Start to read file(0): /home/feiyang/test/data/vertex.csv, schema: < :VID/ve.id:int >
2021/03/05 07:53:50 [ERROR] handler.go:63: Client 2 fail to execute: THERE_ARE_SOME_ERRORS(Invalid vid format: 0), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR
2021/03/05 07:53:52 [INFO] statsmgr.go:61: Tick: Time(5.00s), Finished(637952), Failed(128), Latency AVG(1808us), Batches Req AVG(2038us), Rows AVG(127584.71/s)
2021/03/05 07:53:53 [ERROR] handler.go:63: Client 4 fail to execute: THERE_ARE_SOME_ERRORS(Invalid vid format: 4), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR
2021/03/05 07:53:57 [INFO] statsmgr.go:61: Tick: Time(10.00s), Finished(1057792), Failed(256), Latency AVG(1575us), Batches Req AVG(1788us), Rows AVG(105776.82/s)
2021/03/05 07:53:57 [ERROR] handler.go:63: Client 4 fail to execute: THERE_ARE_SOME_ERRORS(Invalid vid format: 6), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR
2021/03/05 07:54:01 [ERROR] handler.go:63: Client 7 fail to execute: THERE_ARE_SOME_ERRORS(Invalid vid format: 2), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR
2021/03/05 07:54:02 [ERROR] handler.go:63: Client 6 fail to execute: THERE_ARE_SOME_ERRORS(Invalid vid format: 1), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR
2021/03/05 07:54:02 [INFO] reader.go:180: Total lines of file(/home/feiyang/test/data/vertex.csv) is: 2396019, error lines: 0
2021/03/05 07:54:02 [INFO] statsmgr.go:61: Tick: Time(15.00s), Finished(2386177), Failed(640), Latency AVG(1588us), Batches Req AVG(1797us), Rows AVG(159077.09/s)
2021/03/05 07:54:02 [INFO] statsmgr.go:61: Done(/home/feiyang/test/data/vertex.csv): Time(15.22s), Finished(2396019), Failed(640), Latency AVG(1592us), Batches Req AVG(1801us), Rows AVG(157451.50/s)

导入时会创建err/ve.csv文件存储导入错误的数据，将该文件的数据进行导入，日志显示导入成功，db_dump统计表明数据并未导入成功，这是什么情况？

steam · 2021 年3 月 9 日 07:28

用的 nebula-importer 吗？

Big_Feiyang · 2021 年3 月 9 日 07:51

是的，因为2.0版本的nebula-importer不兼容，我使用的是1.0版本的

steam · 2021 年3 月 9 日 08:05

@jievince 来瞅瞅这个问题呢，大佬

jievince · 2021 年3 月 9 日 08:15

你用的nebula-importer:lateset这个镜像吗？镜像有更新到最新的吗？昨天修复了一个和vid检查有关的bug

Big_Feiyang · 2021 年3 月 9 日 08:26

不是，我用的是nebula-importer:v1这个镜像，因为nebula-importer:lateset这个镜像不兼容

jievince · 2021 年3 月 9 日 08:28

对，那你v1镜像是最新的吗？如果不是，请更新一下

Big_Feiyang · 2021 年3 月 9 日 08:35

v1最新镜像的id可以发给我看一下吗？我对比看一下是否最新版本

jievince · 2021 年3 月 9 日 08:36

https://hub.docker.com/layers/vesoft/nebula-importer/v1/images/sha256-ed9f62130d5b3e6fdd6b72e808257e40a9f7ec66ac9a89d964769960bd68bbaa?context=explore

Big_Feiyang · 2021 年3 月 9 日 08:44

问题已经解决了，非常感谢！

Big_Feiyang · 2021 年3 月 9 日 08:45

能够解答一下我的困惑吗？是因为什么原因导致的部分数据导入失败

jievince · 2021 年3 月 9 日 08:49

importer导入数据之前会对每行数据的vid的格式用正则做个check, 这个正则之前写的有问题，导致匹配不到一位的十进制数字。所以当vid是0-9时， check就报错了。

Big_Feiyang · 2021 年3 月 9 日 09:07

但是导入报错的并非只是vid 0-9的数据，还有很多其他的vid也导入失败

jievince · 2021 年3 月 9 日 09:11

还有哪些vid呢？如果是

THERE_ARE_SOME_ERRORS(Invalid vid format: 1), ErrMsg: SyntaxError: syntax error near `THERE_ARE_SOME_ERRORS', ErrCode: E_SYNTAX_ERROR

这种报错，那都是vid check报错的。其它的报错还需要你发出来，我看看

Big_Feiyang · 2021 年3 月 9 日 09:18

报错的原因都是一样的，报错的vid我还有记录，可以贴几个出来你们看一下：1862510，3175285，4079109，2628915，1137241

jievince · 2021 年3 月 9 日 09:21

不应该吧… 这几个vid在之前的check应该也是通过的

jievince · 2021 年3 月 9 日 09:21

那你更新镜像后所有点都导入成功了吗

Big_Feiyang · 2021 年3 月 9 日 09:28

是的，新的镜像全都导入成功了。
这几个vid导入时报错，所有导入错误的vid全都存储在一个csv文件中，我将这个csv文件进行导入，日志显示所有vid均导入成功，但是通过dp_dump去统计时发现点的数量并未增加

tomZou12 · 2021 年4 月 21 日 02:19

想请问一下，vid check已经报错了为什么还会让graphd执行THERE_ARE_SOME_ERRORS这个命令，修复这个bug的pr可以发一下吗

yee · 2021 年4 月 22 日 07:02

这不是 bug，是个已知的问题，只是当时实现的时候一种比较简单的做法，后面可以考虑一种更好的错误处理方式。