数据导入jsonString问题

[北冥咸鱼]

有人知道studio的文件cvs导入数据，报错缺省”是为啥嘛？因为我的cvs文件中有jsonString的数据。已经用|替换分隔符。

[steam]

版本号补充下，然后把你的 schema 和相关的 csv 文件数据贴一部分过来看看。还有具体的报错信息也贴下。

[北冥咸鱼]

studio版本是v3.7.0，schema里面创建一个test的示例，建立一个tag_object的点，有三个参数，导入会报missing " in quoted-field 错误，我用|做的分隔符
测试.csv (88 字节)

[hetao]

3.7.0 ？你在用 studio master 分支的源码部署么

[北冥咸鱼]

不是，用的官方的镜像啊。

[hetao]

nightly 镜像么？我需要先确定下具体版本，因为 3.7.0 是待发布的新版本，导入功能相对于先前版本做了很大的重构，我用你提供的 csv 在本地试了下是可以导入的，方便的话可以提供下报错截图之类的

[北冥咸鱼]

就是”缺省

[hetao]

这个版本的 studio 应该还不支持在页面上配置分隔符为 | 吧，你是用模板导入的么

[北冥咸鱼]

不是模板导入，文件导入的

[veezhang]

@北冥咸鱼 您好，可以将您的配置文件贴出来吗？

[北冥咸鱼]

什么配置，导入文件的分割配置吗？

[hetao]

任务列表可以下载导入生成的配置文件, 方便的话可以把这个 yaml 文件给我们看下，方便排查问题

[北冥咸鱼]

config.yml (1004 字节)

[wey]

config

version: v2
description: studio import
removeTempFiles: null
clientSettings:
  retry: 3
  concurrency: 10
  channelBufferSize: 128
  space: lineage
  connection:
    user: ""
    password: ""
    address: ""
  postStart: null
  preStop: null
logPath: import.log
workingDir: null
files:
-path: file_1681366316718.csv
  failDataPath: file_1681366316718.csv
  batchSize: 128
  limit: nul1
  inorder: null
  type: csv
  csv:
    withHeader: false
    withLabel: false
    delimiter: '|'
  schema :
    type: vertex
    edge: nul1
    vertex:
      vid:
        index: 1
        function: null
        type: string
        prefix: datasource_
      tags :
      - name: tag_object
         props :
      - name :object_id
         type :string
         index: 1
      - name: object_name
         type: string
         index: 2
      - name: object_type
         type: string
         index: 3
      - name: other_param
         type: string
         index: 0

sample data

"{"id":1072,"name":"系统1"}"|1072|系统1
"{"id":1073,"name":"系统2"}"|1073|系统2

@hetao @veezhang

[wey]

@北冥咸鱼

测试.csv (88 字节)

这个 用 importer 直接能导入么？我感觉 jsonstring 的外部引号和里边引号都是双引号会不会有问题？

[北冥咸鱼]

之前我用的逗号作为分隔符，没有加外部引号会给识别为{“id”:1072和"name":“系统1”}，所以加了外部引号，我后面我加了外部引号，导入文件的识别成功我为{“id”:1072,“name”:“系统1”}，不过还是导入过程中报错了，但没有具体到哪个参数导入异常提示，我就把竖线作为分隔符，尝试过不加外引号和加的导入，都是一样的报错，提示缺省引号，我上传的文件就是加了外引号的。

[wey]

这样试试？

• json string 去掉外边引号
• utf-8 的加上引号

@wey

{"id":1072,"name":"系统1"}|1072|"系统1"
{"id":1073,"name":"系统2"}|1073|"系统2"

[北冥咸鱼]

依旧报的缺省引号

[wey]

不用 studio，直接用 importer 配合这个配置报错依旧么？

cc @hetao @veezhang