关于spark-writer的一些问题

对于spark不是很熟悉,spark-writer是否有更细致的过程demo

问题1:

如果我采用hive作为数据源,那spark 与hive之间的认证需要怎么去配置(比如账号密码)

问题2:
spark-writer如何去配置使用uuid或者hash函数(如go-importer可以用function来指定)

希望能提供一个完整的配置demo,万分感谢

配置这块可以参考下 Spark Writer 的文档呀:https://docs.nebula-graph.com.cn/manual-CN/3.build-develop-and-administration/5.storage-service-administration/data-import/spark-writer/#_11

image

您好,这个文档里关于这两个问题都没有 @steam

第一个hive认证的问题目前没有。

uuid或者hash 配置里面是有的 看policy这项

Hive 底层文件格式是啥? 如果是Orc或Parquet 可以直接读HDFS

orc,不过这个甲方不一定让读

您好,这个认证后续会不会支持

你们的甲方还有哪些场景和限制呢?

目前就是认证问题了,不加认证肯定不行的

如果是在甲方环境,听上去需求也是合理的。

我们正在尝试给hive加权限验证

我这里补充下:这个权限功能不能承诺什么时候会开发完成,并且也有可能是放在企业版本里面的。


解决问题2

浙ICP备20010487号