nebula-importer能够增量导入吗。比如图空间test中存在数据，能否使用Impoter增量导入
目前不支持，你可以自己处理好数据，仅导入增量部分。
1 个赞
采用三台虚拟机（在一台物理机上），机器内存使用nebula-importer导入数据的时候，三台机器的nebula-storaged服务老是exited，手动重启之后，不一会就exited。
数据量：几十亿条数据。
yaml配置文件主要配置：concurrency:24，channelBufferSize:128，batchSize:128。
机器配置：cpu核数：16核；内存：16G；硬盘:1TB。
刚开始入库一段时间没有问题，入到大概10亿条左右的时候（日志显示），storage服务开始退出。
硬盘是机械盘吗？是的话，试试吧 batchsize 调小点，然后补充下 Nebula 的版本是多少，还有 Importer 的先排除下是不是版本不对齐导致的使用不当。
1 个赞
是机械盘，nebula是3.0.2，importer是3.0.0
你试试调小 batchsize 看会不会出现 storage 退出的问题。
1 个赞
storage服务日志有报错吗，麻烦贴下日志？
1 个赞
有Error类型和FATAL类型的日志。
Error类型：
[... RocksEngine.cpp:174] Write into rocksdb failed because of IO error: while open a file for random read:
/usr/local/nebula/data/storage/nebula/19/data/010293.sst:Too many open files.
[... Port:9780, Space:19, Port:5] Failed to commit logs
[... Port:9780, Space:19, Port:2] Failed to commit logs
FATAL类型日志
[... Port:9780, Space:19, Port:5] Failed to commit logs
[... Port:9780, Space:19, Port:2] Failed to commit logs
Too many open files，open files调整了吗？另外yaml文件里面的concurrency调下点吧，cpu不才16核吗
1 个赞
参考以下修改操作系统的参数，增加open file的数量，在重启试试
1 个赞
open files是默认的。我通过命令
/usr/local/nebula/scripts/nebula.service status all
查看的时候，会有警告
[WARN] The maximun files allowed to open might be to few:1024
好的。
还有个问题需要咨询下，在nebula 不进行数据导入的情况下， storaged, graphd, metad有时候也会自动exited.
这个也要看具体日志的，先把open files改大来看看，可能都是这个参数的原因造成的
1 个赞
open files这是哪个配置文件？
此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。