读取数据，meta报错

lijinpeng · 2021 年12 月 27 日 09:47

通过spark-connector读取数据，meta服务报错：
E1227 15:22:23.601547 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED

steam · 2021 年12 月 27 日 09:48

版本号补充下，然后你之前创建过 space 吗

lijinpeng · 2021 年12 月 27 日 10:04

2.5.1
创建过space
现在排查下来就是meta服务报错，导致连接不上，graph和storage服务都正常，机器负载也正常
@steam

steam · 2021 年12 月 27 日 10:06

你把配置文件贴一下看看。

lijinpeng · 2021 年12 月 27 日 10:20

这是nebula-metad.conf，还需要其他的么？
@steam @nicole 两位大佬帮忙看下

nicole · 2021 年12 月 28 日 02:14

meta manager会针对leader change 进行一次重试，你这是重试时再次发生了leader change。贴下meta 服务的日志吧

lijinpeng · 2021 年12 月 28 日 06:37

Log file created at: 2021/12/27 15:22:23
Running on machine: pro-rcpgraphdatabaseservice-al01-227011
Log line format: [IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E1227 15:22:23.601547 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:22:23.864147 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:22:23.931488 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:22:24.020498 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:22:24.340579 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:32:34.657593 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:32:34.761554 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:32:34.819924 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:32:34.837710 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:32:35.052471 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:34:10.810446 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:34:11.691263 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:34:11.711722 201554 GetSpaceProcessor.cpp:19] Get space Failed, SpaceName hitch error: E_LEADER_CHANGED
E1227 15:35:35.771607 201518 JobDescription.cpp:188] Loading Job Description FailedE_LEADER_CHANGED
E1227 15:35:35.771641 201518 JobManager.cpp:89] [JobManager] load an invalid job from queue 0
@nicole @steam 两位大佬帮忙看看

darionyaphet · 2021 年12 月 28 日 08:44

多个meta 部署的吗查询的时候发生了Leader Change？

lijinpeng · 2021 年12 月 28 日 09:18

3台机器，每台机器都部署了meta服务，我是通过spark-connector读取数据，还没开始大量查询就报Exception in thread “main” com.facebook.thrift.transport.TTransportException: java.net.SocketTimeoutException: connect timed out
at com.facebook.thrift.transport.TSocket.open(TSocket.java:175)
at com.vesoft.nebula.client.meta.MetaClient.getClient(MetaClient.java:104)
at com.vesoft.nebula.client.meta.MetaClient.doConnect(MetaClient.java:99)
at com.vesoft.nebula.client.meta.MetaClient.connect(MetaClient.java:89)
at com.vesoft.nebula.connector.nebula.MetaProvider.(MetaProvider.scala:22)
at com.vesoft.nebula.connector.reader.NebulaSourceReader.getSchema(NebulaSourceReader.scala:45)
现在发现graph和storage服务没错，只有meta服务报错。报错在前面的帖子里。

lijinpeng · 2021 年12 月 30 日 08:06

@nicole @darionyaphet 大佬们有结论么？谢谢！！！

nicole · 2021 年12 月 30 日 09:11

你重启下meta服务试试吧，前面的日志显示 meta频繁的发生leader change，后面你在读取数据之前报的connect timed out 应该是meta服务已经异常了。这时候还没请求到graph和storage服务中去。

lijinpeng · 2021 年12 月 31 日 02:09

这个meta服务异常，会是什么原因引起的？怎么避免呢？
@steam @nicole

nicole · 2021 年12 月 31 日 08:03

日志里只有leaderchange，我这边不太清楚导致频繁leader change的原因，还需要其他同学看下。
你可以尝试下重启meta服务试试。

lijinpeng · 2021 年12 月 31 日 09:26

重启meta服务试过不行。
我现在只好删除了数据和元数据，重新生成整个图数据库。
但我需要知道原因，以免以后还出现。

steam · 2021 年12 月 31 日 09:27

我让存储这块的研发同学看看。

critical27 · 2021 年12 月 31 日 09:42

你最好升下级我不太记得2.5.1meta有没有处理leader change了。
你要不想升级，有个比较黑的方法，找到meta的leader是谁（搜日志Partition is elected as the new leader for term），然后把所有graph的meta地址改成只有那一个。

lijinpeng · 2021 年12 月 31 日 09:50

升级成哪个版本可以避免这个问题？

steam · 2021 年12 月 31 日 10:02

升级成最新版本的 v2.6.1 吧，不然就得按照 critical27 说的，写死了。