关于spark-writer的一些问题

henson · 2020 年7 月 27 日 02:47

对于spark不是很熟悉，spark-writer是否有更细致的过程demo

问题1：

如果我采用hive作为数据源，那spark 与hive之间的认证需要怎么去配置（比如账号密码）

问题2：
spark-writer如何去配置使用uuid或者hash函数（如go-importer可以用function来指定）

希望能提供一个完整的配置demo，万分感谢

steam · 2020 年7 月 27 日 05:16

配置这块可以参考下 Spark Writer 的文档呀：https://docs.nebula-graph.com.cn/manual-CN/3.build-develop-and-administration/5.storage-service-administration/data-import/spark-writer/#_11

henson · 2020 年7 月 27 日 05:19

您好，这个文档里关于这两个问题都没有 @steam

darionyaphet · 2020 年7 月 27 日 06:19

第一个hive认证的问题目前没有。

uuid或者hash 配置里面是有的看policy这项

darionyaphet · 2020 年7 月 27 日 06:31

Hive 底层文件格式是啥？如果是Orc或Parquet 可以直接读HDFS

henson · 2020 年7 月 27 日 06:36

orc,不过这个甲方不一定让读

henson · 2020 年7 月 27 日 06:38

您好，这个认证后续会不会支持

min.wu · 2020 年7 月 27 日 06:44

你们的甲方还有哪些场景和限制呢？

henson · 2020 年7 月 27 日 06:47

目前就是认证问题了，不加认证肯定不行的

min.wu · 2020 年7 月 27 日 06:55

如果是在甲方环境，听上去需求也是合理的。

darionyaphet · 2020 年7 月 28 日 01:58

我们正在尝试给hive加权限验证

min.wu · 2020 年7 月 28 日 02:03

我这里补充下：这个权限功能不能承诺什么时候会开发完成，并且也有可能是放在企业版本里面的。

min.wu · 2020 年7 月 31 日 10:53

hy9125 · 2020 年8 月 11 日 03:17

github.com

vesoft-inc/nebula/blob/master/src/tools/spark-sstfile-generator/src/main/resources/application.conf

{
  # Spark relation config
  spark: {
    app: {
      name: Spark Writer
    }

    driver: {
      cores: 1
      maxResultSize: 1G
    }

    cores {
      max: 16
    }
  }

  # Nebula Graph relation config
  nebula: {
    addresses: ["127.0.0.1:3699"]

This file has been truncated. show original

解决问题2