exchange导入hive数据增量全量如何选择

提问参考模版:

  • nebula 版本:3.4.0
  • 部署方式:分布式
  • 安装方式:RPM
  • 是否上生产环境:Y

请问exchange导入hive数据时如何选择增量导入时如何调整配置文件?
分区数据导入有什么可以区分的方法吗?
非常感谢~~

exchange 我记得是不支持增量导入的。

那请问生产上更新数据用什么方法更合适呢?

看你什么方便,可以参考下这张图

好滴,请问exchage导入的时候自动覆盖原来的数据吗

插入相同的点边数据,是覆盖的。

你hive中的数据有可以识别是增量数据的字段吗,类似mysql中的自增主键,这样可以在语句中加 where field >xxx 实现增量导入。
或者hive表分区是基于时间来分的话也可以通过指定partition来做增量导入。

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。