nebula-importer能否增量导入

nebula-importer能够增量导入吗。比如图空间test中存在数据,能否使用Impoter增量导入

目前不支持,你可以自己处理好数据,仅导入增量部分。

1 个赞

采用三台虚拟机(在一台物理机上),机器内存使用nebula-importer导入数据的时候,三台机器的nebula-storaged服务老是exited,手动重启之后,不一会就exited。
数据量:几十亿条数据。
yaml配置文件主要配置:concurrency:24,channelBufferSize:128,batchSize:128。
机器配置:cpu核数:16核;内存:16G;硬盘:1TB。

刚开始入库一段时间没有问题,入到大概10亿条左右的时候(日志显示),storage服务开始退出。

硬盘是机械盘吗?是的话,试试吧 batchsize 调小点,然后补充下 Nebula 的版本是多少,还有 Importer 的先排除下是不是版本不对齐导致的使用不当。

1 个赞

是机械盘,nebula是3.0.2,importer是3.0.0

你试试调小 batchsize 看会不会出现 storage 退出的问题。

1 个赞

storage服务日志有报错吗,麻烦贴下日志?

1 个赞

有Error类型和FATAL类型的日志。
Error类型:

[... RocksEngine.cpp:174] Write into rocksdb failed because of IO error: while open a file for random read: 
/usr/local/nebula/data/storage/nebula/19/data/010293.sst:Too many open files.
[... Port:9780, Space:19, Port:5] Failed to commit logs
[... Port:9780, Space:19, Port:2] Failed to commit logs

FATAL类型日志

[... Port:9780, Space:19, Port:5] Failed to commit logs
[... Port:9780, Space:19, Port:2] Failed to commit logs

Too many open files,open files调整了吗?另外yaml文件里面的concurrency调下点吧,cpu不才16核吗

1 个赞

参考以下修改操作系统的参数,增加open file的数量,在重启试试

1 个赞

open files是默认的。我通过命令

/usr/local/nebula/scripts/nebula.service status all

查看的时候,会有警告

[WARN] The maximun files allowed to open might be to few:1024

好的。

还有个问题需要咨询下,在nebula 不进行数据导入的情况下, storaged, graphd, metad有时候也会自动exited.

这个也要看具体日志的,先把open files改大来看看,可能都是这个参数的原因造成的

1 个赞

open files这是哪个配置文件?

参考 linux 打开文件数 too many open files 解决方法_傲雪星枫的博客-CSDN博客_toomanyopenfiles

1 个赞

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。

浙ICP备20010487号