关于数据ingest后的数据副本完整性和一致性问题

我们目前的数据量非常大,使用原生数据导入工具非常慢,因此我们考虑使用sst导入的方式,但是其中发现了一些问题:

  1. 在单台节点进行ingest后,其数据并未拷贝到其他节点中,从源码(版本1.0.1)看到ingest时最终仅调用底层RocksDB的ingest,并未执行数据副本的拷贝,这其中是否存在了数据一致性的问题
  2. 针对这种情况,需要在每个副本节点都执行一次ingest才能保证数据副本完整性和一致性,不知道我的理解是否正确?
    感谢您的释疑!

是对的,对于一个part的多副本,需要在每个副本都进行ingest

1 个赞