为什么使用提供的spark connector程序会有误?

好的,我尝试一下,再给你反馈

:joy: 所以就是个迁移工作吗,你可以看下我们实施同学之前写的 利用 snapshot 进行集群迁移 - #5,来自 bai 看了下你好像在问他,你可以试试这个法子。

大佬。exchange 2.0.1(对应nebula2.0.1)版本可以导入nebula数据吗?

exchange 3.x版本我看到才可以导入nebula数据?

用 3.0.0 的 exchange 呀,版本要对齐的。

我是nebula 2.0.1的集群,那这样还能用exchange 2.0.1导入nebula数据吗?

你用什么版本的内核,就用什么版本的 exchange,看什么版本的文档,对齐就行

nebula-exchange 2.0.1版本没有关于导入nebula数据的特有参数,这样就不用配置了吗?

有啊。

存在nebula storage里面的数据要选择CSV文件呀,恕我不知道。

这个法子报错:

F0421 18:26:48.951680 24665 RocksEngine.cpp:116] Check failed: status.ok() Corruption: Can’t access /000059.sst: IO error: No such file or directorywhile stat a file for size: data/meta/nebula/0/data/000059.sst: No such file or directory
Can’t access /000057.sst: IO error: No such file or directorywhile stat a file for size: data/meta/nebula/0/data/000057.sst: No such file or directory
Can’t access /000055.sst: IO error: No such file or directorywhile stat a file for size: data/meta/nebula/0/data/000055.sst: No such file or directory
Can’t access /000053.sst: IO error: No such file or directorywhile stat a file for size: data/meta/nebula/0/data/000053.sst: No such file or directory
*** Check failure stack trace: ***
@ 0x20041bc google::LogMessage::Fail()
@ 0x2008d2d google::LogMessage::SendToLog()
@ 0x2003e8d google::LogMessage::Flush()
@ 0x20046e8 google::LogMessageFatal::~LogMessageFatal()
@ 0x12d42fd nebula::kvstore::RocksEngine::RocksEngine()
@ 0x12de9ce nebula::kvstore::NebulaStore::newEngine()
@ 0x12e606d nebula::kvstore::NebulaStore::loadPartFromDataPath()
@ 0x12e8435 nebula::kvstore::NebulaStore::init()
@ 0x1114fee initKV()
@ 0x10dd89b main
@ 0x7f666e1c4554 __libc_start_main
@ 0x1113bad (unknown)

没有文件啊。- -。

这样的错误我还是看得懂的 :grinning:,就是不知道000059.sst、000057.sst、000055.sst、000053.sst在哪里?我是从旧集群直接复制SNAPSHOT_2022_04_21_08_59_25过来的

等等。。你到底在用 exchange 还是快照恢复

快照,数据从nebula旧集群迁移到新集群。你说的的Exchange—CSV好像Nebula 2.0.1版本无法搞。

:joy: 那就不要在这个帖子里讨论了,你去那个文章的下面和作者交流下,实施同学也许能给你点好想法。

太忙了,无人搭理我。

因为大家都不是专职在论坛做技术支持的,关于论坛帖子审核和回复时间的说明(最后更新 2022.03.10) 你可以参考下这个回复时间

@bai 抱歉,我刚好看到你们的讨论。

从 Nebula 导入 Nebula 的话,Exchange 开源版确实没有提供,还是推荐 Spark Connector 来自己实现,自己用 Reader 和 Writer 去做这个工作。

麻烦你再提供一下 spark 的报错信息?

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。