2.5.1版本Exchange导入SST，需要将SST放到哪个目录呢

nicole · 2021 年10 月 21 日 02:12

那你部门这个属性在nebula中有设置default值么，如果没有这个空列不会写sst失败啊，你还是把日志贴出来看一下吧

vivid · 2021 年10 月 21 日 02:15

您好，集群找不到日志，是这个csv生成sst失败了？空列这种怎么避免失败呢

nicole · 2021 年10 月 21 日 02:19

是有4条写sst文件失败了，但需要看日志才能知道具体是因为什么写失败，正常情况下空列不会导致失败的。你的部门属性有设置default值么

vivid · 2021 年10 月 21 日 02:22

nicole · 2021 年10 月 21 日 02:23

还是复现一下贴一下日志吧，我们测过在没设置default值的情况下空值不会影响sst导入流程的。

vivid · 2021 年10 月 21 日 02:24

您好，我用小文件带空列跑demo也是失败的，没有空列就是成功的

nicole · 2021 年10 月 21 日 02:25

exchange 日志贴一下

vivid · 2021 年10 月 21 日 07:02

没有找到exchange详细日志，测试过了，把空行取消掉就成功，有空串就失败，这种辛苦帮忙看看能否兼容

对汉字兼容也不好，sst灌库后不识别；(注csv，go-import没问题)

vivid · 2021 年10 月 21 日 08:54

辛苦帮忙优先看下2.5.1 INGEST后中文乱码的问题吧？这里需要怎么解决呢？

nicole · 2021 年10 月 21 日 09:01

我们测试过中文是支持的，你用spark读取一下你的数据看看有没有正常显示。
你可以把space、tag的schame贴出来，把对应每一个属性的数据也放几条，我们用你的数据复现一下。

vivid · 2021 年10 月 21 日 09:13

test.csv (129 字节)
就是一列 name是中文生成sst 后INGEST，数据导入了，但是中文编码乱了，而go-import是没问题的；因为我们自动化更新需要sst机制，辛苦帮忙看下哈；

另外您说的spark读取这里怎么看显示呢？

vivid · 2021 年10 月 21 日 10:28

数据已发，辛苦帮忙验证下哈，是目前版本不支持，还是配置呢？多谢哈

nicole · 2021 年10 月 21 日 12:17

SST导入是支持中文的，这是我测试结果：

源数据只有一条：

在spark集群中执行spark-sql，进入交互式命令行，执行 spark.read.csv(“file”).show()

vivid · 2021 年10 月 22 日 08:00

非常感谢，中文这个已解决；
csv中空字段这种这个还是有问题

nicole · 2021 年10 月 22 日 09:16

空字段是个bug，在encoder成sst的value的时候当存在多个String类型数据且其中有null时，会导致数组越界。这个pr已经fix了，你可以使用最新的exchange SNAPSHOT版本https://oss.sonatype.org/content/repositories/snapshots/com/vesoft/nebula-exchange/2.5-SNAPSHOT/nebula-exchange-2.5-20211022.023737-4.jar

vivid · 2021 年10 月 22 日 09:42

非常感谢，但是这个版本验证通不过，怎么配置可以避免呢？

vivid · 2021 年10 月 22 日 11:17

您好，有兼容2.5.1的jar包吗，多谢

nicole · 2021 年10 月 25 日 03:59

SNAPSHOT 目前是兼容nightly的nebula服务端的。适配nebula 2.5.1 请使用nebula-exchange 2.5.2 Central Repository: com/vesoft/nebula-exchange/2.5.2

vivid · 2021 年10 月 25 日 09:21

非常感谢，我测试下。