nebula2.5.1入库经常报错

  • nebula 版本:2.5.1
  • 部署方式:分布式
  • 安装方式:RPM
  • 是否为线上版本:Y

spark批量入库的时候,经常报错,如:
error_code : -1005, error_msg: Storage Error: part: 247, error: E_RPC_FAILURE(-3).

报错原因通常为 Graph 服务向 Storage 服务请求了过多的数据,导致 Storage 服务超时。请尝试以下解决方案:

  • 修改配置文件:在nebula-graphd.conf文件中修改–storage_client_timeout_ms参数的值,以增加 Storage client 的连接超时时间。该值的单位为毫秒(ms)。例如,设置–storage_client_timeout_ms=60000。如果nebula-graphd.conf文件中未配置该参数,请手动增加。提示:请在配置文件开头添加–local_config=true 再重启服务。
  • 优化查询语句:减少全库扫描型的查询,无论是否用LIMIT限制了返回结果的数量;用 GO 语句改写 MATCH 语句(前者有优化,后者无优化)。
  • 检查 Storaged 是否发生过 OOM。(dmesg |grep nebula)。
    *为 Storage 服务器提供性能更好的 SSD 或者内存。
  • 重试请求。

参考文档 FAQ(适用于 v2.0+ 版本)常见问题 FAQ - Nebula Graph Database 手册

E1202 10:54:43.292012 370905 Host.cpp:375] [Port: 9780, Space: 328, Part: 149] [Host: xxxxx:9990] Failed to append logs to the host (Err: E_UNKNOWN_PART)
E1202 10:54:43.411942 370908 Host.cpp:375] [Port: 9780, Space: 328, Part: 145] [Host: xxxxx:9990] Failed to append logs to the host (Err: E_UNKNOWN_PART)

这个问题是啥呢?error里面一直在刷

和这个问题是相似的,:thinking: 你是不是版本号也没对齐呀。你的 Importer 用的啥版本

导入时使用的jar包是2.5.0,nebula版本是2.5.1,差一个小版本,有影响吗

你升级下 importer,本来是没问题的,但是 v2.5.0 版本的 go 客户端有 checksum 问题,紧急发了个 v2.5.1 版本的,importer 依赖 go 客户端。

所以你升级下 importer 到 v2.5.1,应该就不会出问题了。

好的。

上面的报错和你发的连接报错不一样,现在的情况是这样,我的spark入库脚本是在A机器,然后有nebula集群BCD,现在是在集群BCD上提示A机器的9990端口Failed to append logs to the host ,A机器并不在bcd集群上,而且在一个hadoop集群。

所以你们并不用 Importer 导入数据,而是直接用的 Exchange 对吗

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。